Искусственный General Int ...

Почему Джеффри Хинтон с подозрением относится к обратному распространению и хочет, чтобы ИИ начал все сначала?

Любит | Нелюбов | Ответы | Вид | 5015


Шридхар Махадеван член АААИ   
@ | Обновлено Right Now


Я выучил нейронные сети у Джеффа Хинтона в середине 1980-х годов, когда он преподавал в CMU, и мы иногда вместе ходили в кампус с Белки-Хилл (где мы оба жили). Я не удивлен, что он хочет переосмыслить обратное распространение. Все мы, кто был в ИИ в течение трех или четырех десятилетий, не довольны обратным распространением или даже глубоким обучением по той простой причине, что это не отражает работу мозга.

  1. Backpropagation over deep neural networks has as much to do with the way the brain learns as modern jet airplanes have to do with the way birds fly. Both jets and birds fly, but they do so using entirely different principles. Jets do things birds cannot (fly at 500 miles per hour carrying many passengers), birds do things jets cannot (take off instantly).
  2. Фактические нейроны в головном мозге в основном работают шиповыми поездами. Каждый нейрон посылает сообщения «да дит да», такие как азбука Морзе, соседним нейронам. Передаточные функции полностью отличаются от RLU или сигмоида. Фактические нейроны очень сложны. Я прошел целый семестр, где мы изучали работу одного нейрона (модель Ходжкина-Хаксли, которая принесла их изобретателям Нобелевскую премию). Реальные нейроны чрезвычайно сложны, и большая часть этой сложности не отражается в сильно упрощенных моделях глубокого обучения. Существует столько же соединений с обратной связью, сколько соединений с прямой связью. Каждый нейрон может соединяться с десятками тысяч других нейронов.
  3. Первая книга по глубокому обучению вышла, когда я был аспирантом в середине 1980-х годов. Он назывался «Параллельная распределенная обработка» и имел два тома. У первого тома была знаменитая статья, в которой рассказывается о обратном распространении (кстати, неудивительно, что многие люди показали, что обратное распространение было изобретено гораздо раньше Вербосом и несколькими другими, поэтому эта идея восходит по крайней мере на десятилетие или более до середины 1980-х годов). Во втором томе был ряд статей известных биологов, одна из которых Фрэнсис Крик (возможно, величайший биолог 20-го века). Крик глубоко скептически относился к моделям нейронных сетей. Он провел аналогию с Аристотелем, который просто заявил, что у мужчин больше зубов, чем у женщин (конечно, если мистер Аристотель просто заглянул в рот миссис Аристотель, он бы обнаружил, что у нее такое же количество зубов, и он был явно не прав). Точно так же Крик чувствовал, что разработчики нейронных сетей просто не знали, как работает мозг и как работают настоящие нейроны.
  4. Модели глубокого обучения невероятно расточительны для данных обучения, повторяя один и тот же пример снова и снова. Человеческое обучение рассматривает данные как гораздо более ценное количество. Опыт ценен. Если вы управляете красным светом и вас останавливает гаишник, вам не нужно повторять этот опыт 10000 раз, чтобы понять, что это плохо. Если вы никогда не видели символ евро, сколько раз вам нужно его увидеть, чтобы выучить его? 5 или 50000? Решение, обеспечиваемое backpropagation или его миллионами вариантов, совершенно неверно и не может работать так, как работает мозг. Это заполнитель, пока мы не придумаем что-то лучшее.
  5. Обучение без учителя и обучение с подкреплением должны быть основными способами обучения, потому что ярлыки мало что значат для взросления ребенка. Дети, лишенные языка и значения, которые имеют взрослые, тем не менее, являются замечательными машинами для обучения и обладают замечательной способностью открывать структуры в мире. Эта способность не может быть следствием контролируемого обучения, потому что ребенок не понимает метки, которые используют взрослые (какой 3-летний ребенок может распознать сумасшедшие категории, такие как «Козерог», используемый в задачах искусственного запоминания наизусть, таких как Imagenet?). Для взрослого стул означает предмет, на котором можно сидеть. Для ребенка это значит гораздо больше (место, где можно спрятаться, способ подняться выше, чтобы подняться выше, и сотни других целей. Дети учатся материальным средствам, а не ярлыкам. ИИ многое узнает о человеческом обучении,

| |



Онлайн-курс
«Машинное обучение для людей»
Один из самых трендовых курсов в сфере Цифровой экономики.