Искусственный General Int ...

Почему Джеффри Хинтон с подозрением относится к обратному распространению и хочет, чтобы ИИ начал все сначала?

Любит | Нелюбов | Ответы | Вид | 4852


Алан Локетт доктор философии   
@ | Обновлено Right Now


Because despite all the progress there is still no real evidence that the brain performs backpropagation, even taking into account some fanfare a couple years ago around a mechanism that Hinton himself proposed (for example, see Bengio’s follow-on, https://arxiv.org/pdf/1502.04156...).

Hinton’s specific comment in the link listed with the question was at a deeper level still; he is pointing out that there has to be another way to learn than by forcing solutions to use supervised data. He is questioning whether the methods he has pioneered and championed over the years will accomplish the original goal for neural networks, specifically, autonomous learning machines. Despite the marked progress of the last few years, we still haven’t cracked the question of how the human brain self-organizes in the absence of fixed external feedback using remarkably sparse data.

One of the main techniques for unsupervised learning is to convert an unsupervised problem into a supervised one, which lets us apply back propagation. This technique is used, for example, in GANs, autoencoders, language models, and word embeddings. It can even be shown that expectation maximization for generative models (one potential competitor for back propagation) in many cases reduces to solving an optimization problem that is still best approached through back propagation (self-supervision). In other words, much of what is touted as unsupervised learning still relies on back propagation and consequently requires long training times.

Нынешнее выражение скептицизма Хинтона не обязательно оправдано. Вполне возможно, что самоконтроля достаточно для выполнения работы, в основном во время фазы сна. Но хотя мы могли бы заставить его работать на машине, все же важно, чтобы у людей не было известной неврологической основы такого обучения.

Так как же может выглядеть другой подход? Возможно, мы бы вернулись к некоторым предметам из прошлого, таким как обучение Хопфилду или сети Кохонена. Возможно, можно разработать графическую модель, для которой EM выдает обновление в закрытой форме. Возможно, у людей есть различные встроенные структурные ярлыки для таких задач, как зрение, распознавание лиц или язык (см., Например, утверждения Пинкера в « Языковом инстинкте» после Хомского). Если это так, то тщательно структурированные архитектуры могут работать лучше. В том же духе, возможно, отсутствуют недостающие нейронные компоненты, которые, если их добавить в нашу архитектуру, могли бы существенно ускорить обучение. Например, см. Https: //arxiv.org/pdf/1703.01988 ...для реализации k-NNs в качестве модели эпизодической памяти; Идея индексированного набора активных объектов хорошо согласуется с психологическими явлениями, такими как эвристический доступ или привязка .

Суть в том, что мы еще не закончили то, что начали, и путь вперед, вероятно, предполагает переосмысление некоторых предположений. Я верю, что именно это имел в виду Хинтон.

| |



Онлайн-курс
«Машинное обучение для людей»
Один из самых трендовых курсов в сфере Цифровой экономики.