Машинное обучение

Каким свойством обладает «сознательный» интеллект, который однажды не будет возможен с ИИ?

Любит | Нелюбов | Ответы | Вид | 8213


Евгений Букамп   
@ | Обновлено Right Now


Когда мы думаем об английском слове «Внимание», мы знаем, что это означает, что нужно сосредоточиться на чем-то и уделить больше внимания. Механизм внимания в глубоком обучении основан на этой концепции направления вашего внимания и уделяет больше внимания определенным факторам при обработке данных.

В общих чертах, внимание является одним из компонентов архитектуры сети и отвечает за управление и количественную оценку взаимозависимости :

  1. Между входными и выходными элементами (Общее внимание)
  2. Внутри элементов ввода (Self-Attention)

Позвольте мне привести пример того, как Attention работает в задаче перевода. Скажем, у нас есть предложение « Как прошел твой день », которое мы хотели бы перевести на французский вариант - « Comment se passe ta journée ». То, что компонент Attention сети будет делать для каждого слова в выходном предложении, заключается в сопоставлении важных и релевантных слов из входного предложения и назначении этим словам более высоких весов, что повышает точность прогнозирования на выходе.

Приведенное выше объяснение «Внимание» очень широкое и расплывчатое из-за различных доступных механизмов внимания. Поскольку в течение многих лет механизм внимания подвергался множественным адаптациям для решения различных задач, применяется множество различных версий внимания. Мы расскажем только о более популярных адаптациях здесь, которые являются его использованием в моделях от последовательности к последовательности и более позднем Self-Attention.

Хотя Attention действительно применяется в других областях глубокого обучения, таких как Computer Vision, его главный прорыв и успех связан с применением в задачах обработки естественного языка (NLP). Это связано с тем, что было введено внимание для решения проблемы длинных последовательностей в машинном переводе , что также является проблемой для большинства других задач НЛП.

Для всестороннего чтения я настоятельно рекомендую вам ознакомиться с этой статьей: Механизм внимания .

| |



Онлайн-курс
«Всё о блокчейне и криптовалютах»
Один из самых трендовых курсов в сфере Цифровой экономики.