В сегодняшней статье речь пойдёт о перспективах развития и эволюции обучения нейросетей. Какие технологии и алгоритмы используются, и велико ли отставание России в этой области? Что такое правило Хебба и знаменитый принцип нейропластичности. Если вы не знакомы с данной темой, то советуем сперва ознакомится, что же такое нейронная сеть простыми словами.

Импульсные (спайковые) нейросети

По-настоящему эффективна реализация импульсных (спайковых) нейронных сетей не на обычных персональных компьютерах, а на специальном оборудовании, так как это очень высоко-параллельные системы. Если в момент моделирования обсчитывать каждый нейрон последовательно, то получается чрезвычайно неэффективная схема.

Импульсные нейросети реализуются на разного рода массивно-параллельных вычислителях. Это могут быть массово-параллельные вычислители универсального характера. Например, это небезызвестные графические ускорители от компании NVIDIA, содержащие несколько тысяч ядер.

Наиболее правильно реализовывать спайковые неросети при помощи специализированного железа – нейроморфных вычислителей, которые уже близки по своим свойствам и структуре к нейронным сетям в головном мозге.

Перспективы развития нейронных сетей

Сегодня наблюдается технологическая гонка между корпорациями и странами, которая напоминает космическую гонку вооружений середины 20-го века.

Цель – приблизиться к размерам мозга, а именно создать вычислитель, количество нейронов которого было сопоставимо с мозгом млекопитающих (около 1 миллиарда нейронов).

Пока что путь к этой светлой мечте далёк. К примеру, самым последним достижением была недавно выпущенная компанией IBM микросхема TrueNorth, содержащая на 1 чипе около миллиона нейронов, каждый из которых имеет порядка сотни синаптических связей.

В мире существует очень много проектов создания такого специального оборудования, правда большинство из них не в России. Сегодняшний уровень развития технологий, отделяющий от уровня устройства мозга, составляет величину около 3 порядков (33%).

Но эта гонка важна для отечественной науки, и необходимо, чтобы и в нашей стране создавались подобного рода вычислительные структуры.

Алгоритм обучения нейронных сетей

Хотя этот вопрос имеет и еще один аспект. Суть состоит в создании мощного агрегата (массово-параллельного мало). Нужно также понимать принципы, с помощью которых этот агрегат смог бы начать функционировать и найти практическое применение.

На этом этапе наблюдается технологическое отставание во всём мире, так как такую нейронную сеть нельзя сделать. Она может быть лишь создана на первоначальном уровне, от которого с помощью эволюционного процесса сможет быть доработанной до «полезного» этапа, где найдется применение. А детально задать веса связей миллионами и миллиардами нейронов абсолютно невозможно.

Тот подход, который использовался для обучения многослойного персептрона, здесь не годится, так как в персептроне количество весов измерялось в сотнях и тысячах. Пытаться их оптимизировать было возможно при помощи различных оптимизационных алгоритмов.

Выход из ситуации может быть в том, что обучение должно являться локальным, то есть в отличие от многослойного персептрона, где мы смотрели на функционирование системы в целом и подправляли те веса, которые дают наибольшую вероятность ошибки.

Здесь коррекция весов связей между нейронами может происходить только на основе вещей, связанных с функционированием самого нейрона и его ближайших соседей. Это чисто локальный процесс.

И понять, какие должны быть принципы процесса, ведущие всю нейронную сеть в нужном направлении эволюции – важный открытый вопрос современной науки.

Правило Хебба и принцип нейропластичности

Разумеется, какие-то вещи уже известны. Еще в 50-х годах прошлого столетия Хеббом был заложен принцип, активно используемый и по сей день.

Правило Хебба нашло экспериментальное подтверждение в конце 20-го века, когда был установлен факт существования принципа нейропластичности, основанного на периоде генерации импульса (spike-timing-dependent plasticity, STDP).

Принцип нейропластичности является частным случаем правила Хебба, и, безусловно, работает, однако ведёт потенциально к неустойчивости.

Если мы видим, что в нейронной сети существует цикл, проявляющий частую активность и проводящий множественные импульсы, то веса связей, входящих в цикл, будут всё больше усиливаться, что приведёт к вредной обратной связи.

Следствием этой вредной связи послужит полная неспособность системы сделать что-либо.

Таким образом, одним из главных направлений 21 века в этой области – это понимание, как же должны быть устроены принципы эволюции и пластичности сети, которые привели бы из первоначально хаотического состояния нейросети к уровню, когда она была бы занята полезной функцией.

Видео об алгоритмах и эволюции современных нейронный сетей простым языком: