Машинное обучение

Есть ли причина, по которой ведущие университеты, такие как MIT, Беркли, Стэнфорд и т. Д., Не проводят столь глубокого обучения?

Любит | Нелюбов | Ответы | Вид | 7641


Осия Сиу бывший доктор философии   
@ | Обновлено Right Now


Глубокое обучение в конечном итоге «умрет», когда сообщество ИИ / МЛ осознает два факта: минимизации ошибок в обучающем наборе, независимо от его размера, недостаточно для решения проблемы ИИ; во-вторых, истинным испытанием научной теории является не ее точность в прогнозировании некоторого фиксированного набора данных, а уровень понимания, который она дает нам в проблеме.

Как проницательно заметил Томас Кун, бывший профессор Массачусетского технологического института и автор классической «Структуры научных революций», наука, как и многие другие человеческие профессии, движущей силой которой является не продвижение к какой-то абсолютной мере истины, а сформированная рядом «парадигм» что работники в области молчаливо и, безусловно, верят.

Глубокое обучение - это парадигма, которая требует абсолютной лояльности в наборе основных убеждений: прежде всего важна производительность при минимизации ошибок по некоторому фиксированному набору данных, и объяснимость полученного решения не имеет значения.

Глубокое обучение умрет, когда исследователи ИИ поймут, что оба эти принципа не являются ни необходимыми, ни достаточными, и далеко не способствуя продвижению ИИ как науки, фактически мешают этому.

Давайте рассмотрим оба эти основных убеждения. Возьмем широко влиятельный набор данных Imagenet, который популяризировал глубокое обучение за последние несколько лет. Сообщество специалистов по компьютерному зрению согласилось с тем, что любая сеть, которая генерирует меньшую ошибку в Imagenet, независимо от того, насколько она непостижима, даже если она состоит из тысяч слоев, является признаком «продвижения вперед» в этой области. Вот график, показывающий «прогресс» в этой проблеме (несколько устаревший):

Черт возьми, представление теперь «лучше», чем люди. Если вы считаете, что этот результат означает, что мы действительно достигли прогресса в понимании человеческого зрения или что системы компьютерного зрения лучше человеческого зрения в целом, вы - истинный сторонник глубокого обучения.

Возможно, пришло время сделать шаг назад и задать себе несколько основных вопросов: может ли наша способность воспринимать измеряться каким-либо набором данных, таким как Imagenet? Есть ли у нас какие-либо идеи о том, что делают эти миллиардные сети параметров?

Как отметил в своем приложении к докладу о катастрофах космического челнока «Челленджер» Ричард Фейнман, иконоборческий безопасный боец ​​в Манхэттенском проекте и физик, лауреат Нобелевской премии: «Для успешной технологии наука должна иметь приоритет над связями с общественностью, поскольку природу нельзя обмануть».

Любой из вас может провести простой эксперимент, чтобы проверить, действительно ли эти производные сети Imagenet действительно работают в реальном мире. Загрузите последнюю версию MATLAB (бесплатно в течение месяца) и наборы инструментов для компьютерного зрения / глубокого обучения, подключите веб-камеру к ноутбуку, обойдите свой дом и запустите тестовую программу. Как и я, вы обнаружите, что представление ужасно плачевно и намного беднее, чем у двухлетнего ребенка или даже у одной из моих собак. Эти сети дают иллюзию прогресса, но это ложное чувство надежды.

Первый тест, который я сделал, был нацелен на мою гостиную; сеть классифицировала его как «парикмахерскую». Повторные испытания показали, что точность измерений была ниже 20%. Только с большим трудом даже такие простые объекты, как чашки или растения, были признаны такими, какими они были. Чаще всего производимые классификации были веселыми.

Я не первый, кто подчеркивает, что у императора нет одежды. Многие другие, в том числе Алан Юиль, заслуженный профессор Bloomberg по визуальному познанию в Johns Hopkins. Кто-нибудь слушает?

Ограничения глубокого обучения для зрения и как мы можем их исправить

Профессор Юйль отмечает в своей статье « Глубокие сети хорошо работают с эталонными наборами данных, но могут плохо работать с изображениями реального мира за пределами набора данных. ». Он также отметил и приводит простые примеры, чтобы проиллюстрировать мысль о том, что « Глубокие сети чрезмерно чувствительны к изменениям в изображении, которые не могут обмануть человека-наблюдателя ».

В пользу глубокого обучения можно утверждать, что, возможно, этого следовало ожидать. Imagenet недостаточно велик. Всего несколько миллионов изображений. Возможно, если бы мы использовали миллиард или триллион изображений, в какой-то момент, безусловно, мы добьемся настоящего успеха. Но, как замечает Алан, еще раз: «набор изображений реального мира является комбинаторно большим, и поэтому любому набору данных, независимо от его размера, трудно представлять сложность реального мира».

Короче говоря, вся парадигма основана на предположении, что любая реальная человеческая способность, будь то восприятие, язык или поведение, это просто вопрос создания черного ящика, который достигает сверхчеловеческой производительности в каком-то наборе тестов, будь то Imagenet или Coco или Atari видеоигры или Go. В конце концов, безусловно, это дает нам конкретную количественную оценку прогресса, поэтому мы можем составить график «прогресса» с течением времени.

Глубокое обучение умрет, когда сообщество AI / ML осознает, что «император не имеет одежды», и, как заметил Роберт Коуз, лауреат Нобелевской премии в Чикагском университете, «научная теория не похожа на расписание автобусов». Точность его предсказаний не является основной метрикой его успеха, а скорее дает понимание, которое он дает, утверждая, что он предпочел бы более плохую теорию предсказания, если бы она дала более глубокое понимание.

В конечном счете, глубокое обучение основывается на вере в то, что люди являются машинами обучения tabula rasa, что мозг является «чистым листом», что 100 миллиардов нейронов в мозге, каждый из которых соединяется с тысячами нейронов, создают пространство поиска. это в миллион раз больше, чем число секунд, в течение которых средний человек живет на Земле, и этого градиентного спуска достаточно, чтобы установить эти параметры, даже если это биологически совершенно неправдоподобно или что оно не может объяснить поведение миллионов биологических виды, которые способны к замечательному поведению через несколько секунд или минут после рождения.

Недавно в престижном журнале Nature была опубликована захватывающая статья, в которой утверждается, что все это предприятие было основано на ложном предположении, что биологические системы работают из-за какого-то магического алгоритма обучения без присмотра, контроля или подкрепления, хотя на самом деле поведение многих, если не большинство Животные почти полностью зашиты при рождении, как и должно быть, если животное надеется выжить в крайне агрессивной среде:

Критика чистого обучения и того, что искусственные нейронные сети могут извлечь из мозга животных

Как утверждается в статье, мы, как физик из пословиц, ищем ключ под светом не потому, что знаем, что потеряли его там, а потому, что там есть свет. Вместо этого в статье ставится следующая увлекательная задача, на которую сообществу AI / ML стоит обратить внимание. Задача аккуратно подытожена рефератом этой статьи, который я процитирую полностью, чтобы подчеркнуть ее замечательное послание:

«Искусственные нейронные сети (ANN) претерпели революцию, катализируемую улучшенными алгоритмами обучения. Однако, в отличие от молодых животных (включая людей), обучение таким сетям требует огромного количества помеченных примеров, что приводит к убеждению, что животные должны вместо этого полагаться главным образом на обучение без присмотра. Здесь мы утверждаем, что поведение большинства животных не является результатом умных алгоритмов обучения - контролируемых или неконтролируемых - но закодировано в геноме. В частности, животные рождаются с высоко структурированной связью мозга, что позволяет им учиться очень быстро. Поскольку схема соединений слишком сложна, чтобы ее явно указывать в геноме, она должна быть сжата через «узкое место генома». Геномное узкое место предлагает путь к ANN, способным к быстрому обучению ».

Кто-нибудь слушает?

| |



Онлайн-курс
«Машинное обучение для людей»
Один из самых трендовых курсов в сфере Цифровой экономики.