Искусственный General Int ...

Если искусственная нейронная сеть имеет 100 миллиардов узлов, может ли она стать такой же умной, как человек?

Любит | Нелюбов | Ответы | Вид | 8930


Chomba Bupe разрабатывает алгоритмы машинного обучения   
@ | Обновлено Right Now


Интересно, что вы пропускаете всех этих животных, таких как крысы, вороны и даже насекомые, и просто стремитесь к достижению человеческого уровня.

Давайте поместим вещи в контекст здесь:

Плодовая муха с около 135K [1] нейронов способна к устойчивому поведению в сложной динамической среде. Система управления плодовой мухой намного надежнее, чем у нас в настоящее время в робототехнике, но в настоящее время возможно буквально внедрить искусственную нейронную сеть (ANN) с 135K узлами. Но мы еще не создали робота или систему управления плодовой мухой, которая была бы близка к замечательным возможностям обработки движения плодовой мухи. Такая система управления была бы очень важна в военных приложениях, таких как:

  • Системы управления ракетами.
  • Автономные истребители.

И, конечно, также важно в гражданских приложениях, таких как:

  • Автомобили с автоматическим управлением, которые привели бы к буквально нулевым авариям.
  • Самолеты.

Когда мы переходим к животным, поведение становится еще более изощренным. Крыса умна, не в том смысле, что она может играть в Го или Шахматы, а в том, как она адаптируется и взаимодействует с окружающей средой, особенно учитывая, что они учатся в основном без присмотра.

Я полагаю, что реальный мир слишком сложен для наших современных алгоритмов машинного обучения (ML), он слишком суров, учитывая, как легко обмануть наши модели ML. Современные модели ML не соответствуют по сравнению с биологическими нейронными сетями. Только один биологический нейрон демонстрирует сложное поведение, которое мы не можем понять в настоящее время. Таким образом, тогда легко сказать, что если мы не можем полностью понять строительные блоки биологического мозга, то мы не ожидаем, что полностью понимаем все это.


Хотя мы можем создавать системы с узким интеллектом, например:

  • Классификация изображений
  • Распознавание речи
  • Обнаружение объекта

Но эти системы обычно имеют проблемы, они:

  • Не очень надежные, эти системы могут легко сломаться, особенно когда условия резко отличаются от теоретических условий работы. Они также страдают от так называемых состязательных примеров [2] .
  • Требуется много данных для обучения, чтобы они могли выучить тривиальные задачи. Большинство биологических объектов учатся с очень небольшим количеством данных, например, ребенок очень быстро учится многим вещам.
  • Не обобщайте так хорошо, как они должны, несмотря на то, что вы обучены большому количеству обучающих данных.
  • Требуются дифференцируемые целевые функции.
  • В основном это контролируемые модели:
  • Например, если ученики не обучаются постепенно, система классификации изображений, обученная на основе набора обучающих данных, становится жесткой и ограничивается этой областью. В то время как биологические системы могут постепенно изучать больше вещей, этот процесс называется постепенным обучением.

В отличие от биологических систем:

  • Не известно использовать градиентный спуск для обучения. Следовательно, они не ограничиваются дифференцируемыми целями, но могут легко научиться моделировать сложные недифференцируемые взаимодействия в окружающей среде.
  • Постепенно ученики.
  • Однократные ученики, что означает, что они учатся с очень небольшим количеством примеров. Они также способны к нулевому обучению только за счет чистой передачи знаний из соответствующего опыта.
  • Обучающиеся, способные очень хорошо учиться обобщению, даже если они обучены на очень немногих примерах
  • Very robust and don"t break easily. We do have visual illusions but they are not as bad as the adversarial examples that affects ML models.

Having said that, we now know that even a fruit fly’s biological neural network is far more capable than a similar sized ANN then we can safely extend this reasoning to our theoretical 100 billion node network vs the human brain.

As most answers have stated already, you obviously don"t expect much from that because:

  • The training data needed to train such a model would be exponentially large compared to what we have now and not to mention that that data needs to be labeled by humans. The process of manual labelling of such a dataset would be tedious and would take years of work.
  • The system can suffer from overfitting issues due to the extremely large number of parameters. We are talking about trillions of connections or parameters to adjust. We wouldn"t even know whether or not such a system can even be rescued from the pits of overfitting.
  • The system is soft (differentiable) but we know that most actual AI-complete problems are not easily cast in a differentiable manner. This means that despite the huge size, those 100 billion nodes would not be able to solve intelligence as we know it.
  • The brain has a more hardwired complex structure unlike our simple ANNs. ANNs compared to the brain can be seen as monolithic and rigid. You would argue that after training such a 100 billion node network the nodes would eventually develop a structure determined by the strength of connections. Yes you are right but that would still be limited:
    • Theoretically, a recurrent neural network (RNN) is turing complete, so one would expect it to learn any computational function. But this takes us back to the reliance on differentiable objectives, despite being turing complete, RNNs such as long-short-term-memory (LSTM) networks are still limited in the sense that they need to be differentiable.

Thus from whichever angle you look at it, the solution is not just about scale it is more complex than that.

Intelligence is more about:

  • Structure: There has to be a supporting framework that enables intelligence. A structure that defines how modules interact such as how they store and access memory or whether or not we need memory. This structure is supposed to be hard baked like the way the brain is born with a certain structure that constrains it with priors that helps it to model the world better. Let"s just say that structure helps the system deal with curse of dimensionality. Just as deep learning (DL) models assume compositionality on the world as a strong prior, we need more such powerful priors built right into our models in order to make them more intelligent i.e giving them common sense.
  • Алгоритмы : структура жесткая, но алгоритмы могут решать, что хранить или читать из памяти, например. Они могут изменить то, как система реагирует на различные стимулы, но структура ответов определяется и ограничивается структурой, чтобы уменьшить пространство возможных ответов и, следовательно, сделать процесс обучения управляемым.
  • Данные : конечно, нам нужны учебные данные, предпочтительно немаркированные данные, потому что мир полон немаркированных данных. Нам нужны наши модели для самостоятельного обучения с минимальным количеством данных. Данные действуют как топливо, поэтому они являются важным аспектом интеллекта.
  • Масштаб : нам, очевидно, нужно, чтобы все эти системы были масштабируемыми, например, чтобы можно было находить шаблоны как в больших, так и в маленьких наборах данных. Мы также нуждаемся в крупном масштабе всего, такого как память, чтобы решить интеллект, поскольку мы знаем это.

Таким образом, вы получили одну правильную часть, масштаб важен, но так же важны структура, алгоритм и данные.

Если бы нам пришлось их пометить, я бы сказал, что нам сильно не хватает алгоритмов и структуры, в то время как в настоящее время ведущие лаборатории, такие как Google Brain, DeepMind, исследования Microsoft и исследования AI в Facebook (FAIR), могут создавать крупномасштабные ANN, по крайней мере, больше, чем у насекомые, такие как плодовые мухи и муравьи, имеют большие наборы данных для обучения систем в очень большом масштабе.

Главные новости :

Также было обнаружено, что насекомые обладают интеллектом [3] .


Но я верю, что как только мы получим правильную структуру и алгоритмы, у нас будет то, что называется искусственным общим интеллектом (AGI), и тогда нам нужно будет просто масштабировать AGI до уровня человеческого мозга и выше, и тогда мы сможем создать систему, такую ​​же интеллектуальную, как человек или более умный в этом отношении.

Надеюсь это поможет.

Сноски

[1] Drosophila connectome - Википедия

[2] Атака машинного обучения с помощью примеров состязательности

[3] Обнаружено, что у шмелей «впечатляющая» интеллектуальная сила, поскольку они обучены тому, чтобы забивать «цели» учеными

| |



Онлайн-курс
«Машинное обучение для людей»
Один из самых трендовых курсов в сфере Цифровой экономики.