Нейронная сеть хебба

Нейронные сети: правило Хебба

Термин «нейронная сеть» появился в середине XX века. Первые работы, в которых были получены основные результаты в данном направлении, были проделаны Мак-Каллоком и Питтсом. В 1943 году им была разработана компьютерная модель нейронной сети на основе математических алгоритмов и теории деятельности головного мозга. Они выдвинули предположение, что нейроны можно упрощённо рассматривать как устройства, оперирующие двоичными числами, и назвали эту модель «пороговой логикой». Подобно своему биологическому прототипу нейроны Мак-Каллока–Питтса были способны обучаться путём подстройки параметров, описывающих синаптическую проводимость. Исследователи предложили конструкцию сети из электронных нейронов и показали, что подобная сеть может выполнять практически любые вообразимые числовые или логические операции. Мак-Каллок и Питтс предположили, что такая сеть в состоянии также обучаться, распознавать образы, обобщать, т. е. обладает всеми чертами интеллекта.

Данная модель заложила основы двух различных подходов исследований нейронных сетей. Один подход был ориентирован собственно на изучение биологических процессов в головном мозге, другой – на применение нейронных сетей как метода искусственного интеллекта для решения различных прикладных задач.

В 1949 году канадский физиолог и психолог Хебб высказал идеи о характере соединения нейронов мозга и их взаимодействии. Он первым предположил, что обучение заключается в первую очередь в изменениях силы синаптических связей. Теория Хебба считается типичным случаем самообучения, при котором испытуемая система спонтанно обучается выполнять поставленную задачу без вмешательства со стороны экспериментатора.

С точки зренения математики простейшая нейронная сеть может быть предствлена в следующем виде:

Или в матричной форме

При этом число слоев может варьироваться, от одного и более.

Хебб в своей книге «Организация поведения» в 1949 г. и говорит, что синаптическая связь, соединяющая два нейрона, будет усиливаться, если в процессе обучения оба нейрона согласованно испытывают возбуждение, либо торможение. При возбуждении одновременно двух нейронов с выходами (хj, уі) на t-том шаге обучения вес синаптического соединения между ними возрастает, в ином случае — уменьшается или не изменяется в зависимости от выбора функции активации, то есть

где Wij — элемент матрицы нейронной сети, r — коэффициент скорости обучения. Основной недостаток правила Хебба состоит в том, что результирующие элементы Wij не ограничены и могут принимать достаточно большие значения. Для решения этой проблемы применяется нормировка.

На базе правила Хебба может быть построен процесс обучения нейронной сети без учителя. Который направлен на нахождение близости между группами нейронов, работающих вместе. Если внешний сигнал активирует любой узел в группе нейронов, действие всей группы в целом увеличивается. Аналогично, если внешний сигнал в группе уменьшается, это приводит к тормозящему эффекту на всю группу.

Конкуренция между нейронами формирует основу для обучения. Обучение конкурирующих нейронов усиливает отклики определенных групп на определенные сигналы. Это связывает группы между собой и откликом. При конкуренции изменяются весы лишь нейрона-победителя. В результате чего могут быть получены самоорганизованные карты.

Развитие нейронных сетей. Правило Хебба.

Сегодня я бы хотел чуть больше рассказать об обучении нейронных сетей и одном простейшем, но, тем не менее, практическом примере задачи классификации. Простейшей задачей классификации является классификация по двум классам.

Для тех, кто не знает, поясним, что персептрон Розенблатта был разработан с целью классификации изображений и состоял из фотоэлементов, которые вырабатывали логические 0 или 1 в зависимости от того, попал на них сигнал или нет. Выходные сигналы фотоэлементов в конечном итоге суммировались (как и в искусственном нейроне). Получив сумму, можно было ее сравнить с пороговым значением и в случае необходимости произвести корректировку сумматора.

Но каким образом выполнять корректировку (переобучение)? Одним из самых простых и понятных способов переобучения стало так называемое Правило Хебба. Для начала опишем его работу применительно к нейронным сетям, а потом приведем небольшую историческую справку.

Как выполнить обучение перспетрона? Предположим у нас есть обучающая выборка, состоящая из объектов обоих классов. Мы предоставляем персептрону сначала один объект, смотрим на выходной сигнал. Пусть 0 соответствует первому классу, а 1 – второму классу. Если выходной сигнал правильный (то есть на входе был действительно объект класса 0 или 1), то берем второй объект и завершаем обучение. Но если сигнал неверен? необходимо выполнить корректировку весов. И тут возможны два варианта:

1). Выходной сигнал неверен и равен нулю — нужно увеличить веса всех активных входов, добавив к каждому величину входного сигнала, т.е.

Данное правило было названо первым правилом Хебба.

2). Выходной сигнал неверен и равен единице – нужно уменьшить веса всех активных входов, отняв от каждого величину входного сигнала, т.е.

Это правило по аналогии стало вторым правилом Хебба.

Если после корректировки весов результат оказался верным, то повторная корректировка не требуется. Мы либо завершаем обучение, либо берем следующий объект из обучающей выборки.

В дальнейшем на практике чаще использовалось видоизмененное правило Хебба, записанное в общей форме – дельта-правило. В этом случае мы сначала определяем разницу между нужным выходным сигналом и реально полученным:

E – полученная ошибка.

D – нужное значение на выходе

Y – полученное значение на выходе.

Далее все выполняется по тому же принципе за исключением того, что к прежнему весу прибавляется не просто значение активного входного сигнала, а величина ∆W = E*Xj.

Дональд Хебб был физиологом и нейропсихологом.

Он занимался вопросами понимания значения нейронов в познавательном процессе человека. В его знаменитой работе 1949 года «Организация поведения» он и привел свое знаменитое высказывание:

Предположим, что постоянная или повторяющаяся реверберация возбуждения (его «отзвук») вызывает в клетках долговременные изменения, которые усиливают стабильность такого процесса. Это предположение можно точно сформулировать следующим образом: «Если аксон клетки А расположен достаточно близко, чтобы возбудить клетку Б, и постоянно или многократно участвует в активации последней, то в одной или обеих клетках происходят процессы роста или обменные изменения, в результате которых усиливается активирующее действие клетки А на клетку Б».

То есть Хебб утверждает, что изменения активности нейронов зависит от силы синаптической связи. Математики применительно к нейронным сетям сильно изменили правило Хебба в его изначальной трактовке. В книге Хебба говорится только о влиянии клетки А на клетку Б, но никак не о взаимном изменении. Возможно, что такое упрощение было обоснованным.

Тем не менее правило Хебба дало толчок к созданию новых методов обучении и в частности – к появлению метода обратного распространения ошибки.

Правило Хэбба

Материал из MachineLearning.

В 1949 физиолог Дональд Олдингс Хебб написал книгу «Организация сознания». В этой книге он попытался объяснить, как нейроны человеческого мозга могут обучаться. Его теория получила впоследствии название «Обучение Хебба». В основе правил обучения для сети Хопфилда легли именно исследования Дональда Хэбба.

Содержание

История

Перcептрон Розенблатта в первоначальном его исполнении состоял из фотоэлементов, которые, в зависимости от поданного на них сигнала вырабатывали сигнал логической единицы, либо логического нуля. Сигналы с фотоэлементов поступали на взвешенный сумматор (элементарный процессор, искусственный нейрон) с пороговой функцией активации. Нейрон также выдавал сигнал логического нуля, либо логической единицы. Возможен вариант использования вместо <0,1>сигналов <-1,1>.

Цель обучения перцептрона состояла в том, чтобы при подаче на фотоэлементы закодированного образа на его выходе появлялась логическая единица в случае принадлежности поданного образа к заранее определенному классу и ноль в противном случае. Логика обучения следующая: если сигнал персептрона при некотором образе верен, то ничего корректировать не надо, если нет — производится корректировка весов сумматора. Правила корректировки весов предложенные Хеббом имеют следующий смысл:

• Первое правило Хебба — Если сигнал персептрона неверен и равен нулю, то необходимо увеличить веса тех входов, на которые была подана единица.
• Второе правило Хебба — Если сигнал персептрона неверен и равен единице, то необходимо уменьшить веса тех входов, на которые была подана единица.

Правила применяются последовательно для всех образов, на которых производится обучение. На вопрос о том, придет ли персептрон к устойчивому состоянию, когда он будет корректно классифицировать все входные образы отвечает теорема сходимости персептрона.

Математическая формулировка

Будем полагать, что классы помечены числами 0 и 1:

0 bigr]» alt= «a(x)=bigl[ langleomega, xrangle > 0 bigr]» />

где ω — вектор синаптических весов, x_i = (x_i , …, x_i n ) объект из обучающей выборки прецентдентов X L = 1, …, x_n>, для которого известен правильный ответ y_i.

Персептрон обучают по правилу Хебба. Предъявляем на вход один объект. Если выходной сигнал персептрона совпадает с правильным ответом, то никаких действий предпринимать не надо. В случае ошибки необходимо обучить персептрон правильно решать данный пример.

Ошибки могут быть двух типов. Рассмотрим каждый из них.

Первый тип ошибки: на выходе персептрона a(x_i) = 0, правильный ответ y_i=1.

Для того, чтобы персептрон выдавал правильный ответ необходимо, чтобы скалярное произведение стало больше. Поскольку переменные принимают значения 0 или 1, увеличение суммы может быть достигнуто за счет увеличения весов. Однако нет смысла увеличивать веса при переменных , которые равны нулю. Увеличиваем веса только при тех, которые равны 1. Для закрепления единичных сигналов с ω, следует провести ту же процедуру и на всех остальных слоях.

В этом и заключается первое правило Хэбба.

Для уменьшения скалярного произведения в правой части, необходимо уменьшить веса связей при тех переменных , которые равны 1. Необходимо также провести эту процедуру для всех активных нейронов предыдущих слоев.

Хебб Дональд

Его мать была последовательницей идей Марии Монтессори и занималась его обучением дома до 8 лет. При поступлении в школу Дональд поступил в класс на три года старше своего возраста.

Дональд Хебб ввёл понятия кратковременной и долговременной памяти, а также предложил первый работающий алгоритм обучения искусственных нейронных сетей.

«Ещё в 1949 г. Дональд Хебб предложил модель, примиряющую локализационистский и холистический взгляды на мозговое обеспечение высших когнитивных функций, в частности речевых (а может быть, даже отрицающую оба подхода).
Согласно этой модели, клеточные ансамбли вполне определённой топографии могут организовываться в нейробиологическне объединения для формирования когнитивных единиц типа слов или гештальтов иного рода, например зрительных образов.
Такой взгляд кардинально отличается от локализационистского подхода, так как подразумевает, что нейроны из разных областей коры могут быть одновременно объединены в единый функциональный блок. Он отличается и от холистического подхода, так как отрицает распределение всех функций по всему мозгу, но подчёркивает принципиальную динамичность механизма, постоянную переорганизацию всего паттерна в зависимости от когнитивной задачи.
Это значит, что мы имеем дело с тонко настраивающимся оркестром, местоположение дирижёра которого неизвестно и нестабильно, а возможно, и не заполнено вообще, так как оркестр самоорганизуется с учетом множества факторов [Анохин, 1978] и настраивается на доминанту по Ухтомскому.
Об этом косвенно говорят и данные о распределении энграмм в памяти: один и тот же когнитивный объект оказывается компонентом сразу нескольких ассоциативных множеств — и по оси сенсорной модальности, и по осям разного рода парадигматических и синтагматических связей.
Хебб говорит также о волне возбуждения, циркулирующей и реверберирующей по разным петлям нейронного ансамбля, которая в нейрофизиологических терминах может быть описана как пространственно-временной паттерн активности, охватывающий многие нейроны, и не только неокортекса. Примечательно, что Хебб предлагал интерпретировать CNS (central nervous sestem) как «концептуальную», а не только как «центральную» нервную систему [Hebb, 1955].
Эти идеи долгое время вызывали критику главным образом потому, что казались непроверяемыми. Однако результаты все большего числа экспериментов заставляют отнестись к модели Хебба весьма внимательно».

Черниговская Т.В., Мозг и язык: полтора века исследований…, в Сб.: Нейропсихолингвистика / Сост.: К.Ф. Седов, М., «Лабиринт», 2009 г., с. 279-280.

Правило Дональда Хебба: «Нейроны, которые разряжаются одновременно, связываются вместе».

Дерек Бикертон, Язык Адама: как люди создали язык, как язык создал людей, М., «Языки славянского культур», М., 2012 г., с.89.

«. теория, выраженная в тезисе cells that fire together wire together («между клетками, которые возбуждаются одновременно, возникает прочная связь»), стала известна как «правило Хебба». Идея Хебба получила подтверждение, и теперь известно, что клетки мозга могут образовывать новые связи и усиливать их благодаря собственной активности. Теперь сканирование головного мозга позволяет наблюдать за развитием подобных связей. Строение искусственных сетей нейронов основано на теории Хебба об обучении нейронов».

Рэй Курцвейл, Эволюция разума, М., «Эксмо», с. 94.

«Физиолог Дональд Хебб отмечал, что происходит облегчение продвижения одних и тех же сигналов при многократном их прохождении по одной и той же группе нейронов. То есть, возвращение к одной и той же мысли происходит значительно быстрее, чем переключение к новой».

Пенев В.Н., От празнания к творчеству, Мюнхен, «Tut i Tam», 2015 г., с. 126.

С 1931 года Дональд Хебб был прикован к постели из-за туберкулёза в бедре и использовал это время для знакомства с литературой по психофизиологии.