В сегодняшней статье речь пойдёт о перспективах развития и эволюции обучения нейросетей. Какие технологии и алгоритмы используются, и велико ли отставание России в этой области? Что такое правило Хебба и знаменитый принцип нейропластичности. Если вы не знакомы с данной темой, то советуем сперва ознакомится, что же такое нейронная сеть простыми словами.
Импульсные (спайковые) нейросети
По-настоящему эффективна реализация импульсных (спайковых) нейронных сетей не на обычных персональных компьютерах, а на специальном оборудовании, так как это очень высоко-параллельные системы. Если в момент моделирования обсчитывать каждый нейрон последовательно, то получается чрезвычайно неэффективная схема.
Импульсные нейросети реализуются на разного рода массивно-параллельных вычислителях. Это могут быть массово-параллельные вычислители универсального характера. Например, это небезызвестные графические ускорители от компании NVIDIA, содержащие несколько тысяч ядер.
Наиболее правильно реализовывать спайковые неросети при помощи специализированного железа – нейроморфных вычислителей, которые уже близки по своим свойствам и структуре к нейронным сетям в головном мозге.
Перспективы развития нейронных сетей
Сегодня наблюдается технологическая гонка между корпорациями и странами, которая напоминает космическую гонку вооружений середины 20-го века.
Цель – приблизиться к размерам мозга, а именно создать вычислитель, количество нейронов которого было сопоставимо с мозгом млекопитающих (около 1 миллиарда нейронов).

Микросхема TrueNorth от компании IBM
Пока что путь к этой светлой мечте далёк. К примеру, самым последним достижением была недавно выпущенная компанией IBM микросхема TrueNorth, содержащая на 1 чипе около миллиона нейронов, каждый из которых имеет порядка сотни синаптических связей.
В мире существует очень много проектов создания такого специального оборудования, правда большинство из них не в России. Сегодняшний уровень развития технологий, отделяющий от уровня устройства мозга, составляет величину около 3 порядков (33%).
Но эта гонка важна для отечественной науки, и необходимо, чтобы и в нашей стране создавались подобного рода вычислительные структуры.
Алгоритм обучения нейронных сетей
Хотя этот вопрос имеет и еще один аспект. Суть состоит в создании мощного агрегата (массово-параллельного мало). Нужно также понимать принципы, с помощью которых этот агрегат смог бы начать функционировать и найти практическое применение.
На этом этапе наблюдается технологическое отставание во всём мире, так как такую нейронную сеть нельзя сделать. Она может быть лишь создана на первоначальном уровне, от которого с помощью эволюционного процесса сможет быть доработанной до «полезного» этапа, где найдется применение. А детально задать веса связей миллионами и миллиардами нейронов абсолютно невозможно.
Тот подход, который использовался для обучения многослойного персептрона, здесь не годится, так как в персептроне количество весов измерялось в сотнях и тысячах. Пытаться их оптимизировать было возможно при помощи различных оптимизационных алгоритмов.
Выход из ситуации может быть в том, что обучение должно являться локальным, то есть в отличие от многослойного персептрона, где мы смотрели на функционирование системы в целом и подправляли те веса, которые дают наибольшую вероятность ошибки.
Здесь коррекция весов связей между нейронами может происходить только на основе вещей, связанных с функционированием самого нейрона и его ближайших соседей. Это чисто локальный процесс.
И понять, какие должны быть принципы процесса, ведущие всю нейронную сеть в нужном направлении эволюции – важный открытый вопрос современной науки.
Правило Хебба и принцип нейропластичности
Правило Хебба нашло экспериментальное подтверждение в конце 20-го века, когда был установлен факт существования принципа нейропластичности, основанного на периоде генерации импульса (spike-timing-dependent plasticity, STDP).
Принцип нейропластичности является частным случаем правила Хебба, и, безусловно, работает, однако ведёт потенциально к неустойчивости.
Если мы видим, что в нейронной сети существует цикл, проявляющий частую активность и проводящий множественные импульсы, то веса связей, входящих в цикл, будут всё больше усиливаться, что приведёт к вредной обратной связи.
Следствием этой вредной связи послужит полная неспособность системы сделать что-либо.
Таким образом, одним из главных направлений 21 века в этой области – это понимание, как же должны быть устроены принципы эволюции и пластичности сети, которые привели бы из первоначально хаотического состояния нейросети к уровню, когда она была бы занята полезной функцией.
Видео об алгоритмах и эволюции современных нейронный сетей простым языком:
Сохраните ссылку на статью, чтобы использовать в спорах!
Похожие материалы
Математика и интуиция: история открытия черных дыр, фракталов и жидких кристаллов
Математика обладает некоторой привлекательностью даже среди людей, которые на словах отвергают или говорят, что это совершенно не их тип мышления.
Что такое нейронная сеть простыми словами
Нейронные сети представляют собой математическую модель, построенную на основе принципов работы бионических нейросетей. Знакомство с этим явлением следует начать с понятия