Искусственные нейронные сети

Что самое странное, что сделала нейронная сеть?

Любит | Нелюбов | Ответы | Вид | 2202


Бен Тейлор главный специалист по искусственному интеллекту в Ziff.ai (2017-настоящее время)   
@ | Обновлено Right Now


Нет нет нет. Нет, это не так, как работают DNN / CNN.

Нет такого тривиального отображения между нейронами и удобными абстракциями, созданными в ваших / наших головах. Вы думаете о том, что журналы и новостные агентства пишут в своих статьях, потому что это облегчает понимание нейронных сетей, особенно когда речь идет о распознавании изображений.

В действительности нет такого отображения между каким-либо одним нейроном и какой-либо значимой функцией. Подумай об этом на секунду. Вы можете построить нейронные сети произвольного размера из N слоев и M нейронов поперек. Если какая-либо конкретная конфигурация обеспечивает естественное отображение некоторых графических функций, которые мы можем понять, то что произойдет, если вы добавите еще один слой? Или если вы добавите больше нейронов на слой? Функции «растягиваются», чтобы приспособиться к этому? Ответ - нет.

На самом деле, интерпретируемость или прозрачность DNN являются одной из самых больших проблем с ними сегодня. Дайте мне модель и результат классификации, и я бы не знал, почему модель считает, что это лицо похоже на Барака Обаму. Это делает DNN трудно доверять. Вы не можете «отладить» его, как обычное программное обеспечение. Если это производит бессмысленный, есть ли ошибка в модели? Недостаточно ли обучение в определенном регионе игрового пространства? Кто-то отравил тренировочный процесс? Или сами входные данные смещены, потому что в данных есть скрытые смещения? Это может быть все вышеперечисленное, и сейчас у нас очень мало инструментов, чтобы понять, что и почему. На самом деле, существует множество текущих серьезных проблем, направленных на добавление интерпретируемости и прозрачности для глубокого обучения:

  1. FICO Community Объясняемая задача машинного обучения
  2. Проблемы и возможности объяснимого ИИ - Intel AI

Помимо разочарования от непониманияпочему модель делает то, что делает, непрозрачный характер этих моделей означает, что относительно легко создавать опасные модели, которые выглядят нормально, но имеют скрытые «черные ходы» внутри. Представьте себе модель распознавания лиц, которая развернута где-то, чтобы гарантировать, что только авторизованные сотрудники могут входить в зону повышенной безопасности. Теперь представьте, что у модели есть скрытое правило, которое было обучено внутри, где любой, кто держит символ бесконечности до лба, автоматически распознается как Обама. Кто-то ввел это правило в модель, когда его обучали много лет назад, но никто не узнает об этом, потому что модель - это просто набор чисел, которые никто не может понять или интерпретировать. Несколько лет спустя злоумышленник подходит к охраняемым офисам какой-то компании и входит в него, потому что они держат волшебный знак с правильным символом на нем.

Это одна из проблем, которая возникает из-за недостатка интерпретируемости / прозрачности, и многие исследователи (включая меня) работают над решением этой проблемы с разных точек зрения.

РЕДАКТИРОВАТЬ: Я почти забыл упомянуть еще один момент. Многие в статистическом сообществе по ОД считают, что попытка сделать DNN понятными - это глупое дело. Их аргумент довольно убедителен: почему мы думаем, что можем установить какое-то отображение между сложными абстракциями в нашем мозге и конкретными нейронами в очень упрощенной нейронной сети с двумерной сеткой? Чтобы надеяться на какой-либо значимый перевод, нам потребуется гораздо более универсальная структура сети, например, некоторые из более новых работ в капсулярных сетях. Пока, по крайней мере, я согласен и считаю, что истинная интерпретируемость маловероятна для современных архитектур DNN.

| |



Онлайн-курс
«Машинное обучение для людей»
Один из самых трендовых курсов в сфере Цифровой экономики.