Технологические Тенденции

В этом году в мире будет 26 миллионов программистов.

Любит | Нелюбов | Ответы | Вид | 3813


Тим Эллиот 50 лет в вычислительной технике   
@ | Обновлено Right Now


Конечно, это наиболее раскрученная технология глубокого изучения статистических машин индуктивного вывода, ресурсоемких, вычислительных и энергоемких фаворитов из пузырей больших технологий под марками G-MAFIA и BAT-Triada, выдавая себя за AI-сущностей.

Ниже приведены некоторые свидетельства того, что современные технологии искусственного интеллекта становятся мошенническими или плохими .

OpenAI выпустил обновление своего ИИ и вычислительный анализ с прошлого года : вычисления в ИИ «экспоненциально росли с удвоением времени в 3,4 месяца (для сравнения, закон Мура имел двухлетний период удвоения). С 2012 года этот показатель увеличился более чем в 300 000 раз (двухлетний период удвоения даст только 7-кратное увеличение) ».

NVIDIA анонсировала MegatronLM , массивную модель преобразователя с 8,3 миллиардами параметров (в 24 раза больше, чем у BERT), которая достигла современного уровня производительности в различных языковых задачах. MegatronLM: обучение моделей на языке Billion + Parameter с использованием параллелизма модели GPU

Рисунок: Недоумение при проверке на протяжении всего периода обучения. Модель 8.3B превосходит все остальные модели и продолжает падать в конце обучения.

Одни параметры весят чуть более 33 ГБ на диске. Обучение окончательной модели заняло 512 графических процессоров V100, работающих непрерывно в течение 9,2 дня. Принимая во внимание требования к питанию для каждой карты, обратная оценка конверта оценивает количество энергии, использованное для обучения этой модели, более чем в 3 раза больше годового потребления энергии среднестатистическим американцем ».

Глубокое обучение слишком велико, чтобы потерпеть неудачу?

Хотя это было несомненно впечатляющее техническое достижение, я не мог не задаться вопросом: идет ли глубокое обучение в правильном направлении?

ИИ можно улучшить, улучшив некоторые из этих аспектов: мировые модели, алгоритмические инновации, качественные данные и меньшую вычислительную мощность. Мы должны уделять первостепенное внимание интеллектуальности и эффективности наших моделей реального мира, а также инновациям в области данных и алгоритмов, оптимизируя вычислительную мощность, если мы хотим, чтобы ИИ был настоящим ИИ.

Больше данных не обязательно означает лучшие данные .

Здесь я имею в виду команду Google, придумывающую « Пересмотр необоснованной эффективности данных в эпоху глубокого обучения» , отмеченную довольно бессмысленными выводами.

Успех глубокого обучения зрению можно объяснить: (а) моделями с высокой пропускной способностью; (б) увеличение вычислительной мощности; и (c) доступность крупномасштабных помеченных данных. С 2012 года были достигнуты значительные успехи в возможностях представления моделей и вычислительных возможностях графических процессоров. Но размер самого большого набора данных неожиданно остался неизменным. Что произойдет, если мы увеличим размер набора данных в 10 или 100 раз? Эта статья делает шаг к очищению от таинственных облаков, окружающих отношения между «огромными данными» и визуальным углубленным изучением. Используя набор данных JFT-300M, который имеет более 375M меток с шумом для 300M изображений, мы исследуем, как изменится производительность текущих задач по зрению, если эти данные будут использованы для обучения представлению. Наша статья содержит некоторые неожиданные (и некоторые ожидаемые) результаты. Во-первых, мы обнаруживаем, что производительность задач по зрению увеличивается логарифмически в зависимости от объема данных обучения. Во-вторых, мы показываем, что обучение представлению (или предварительная подготовка) все еще имеет много обещаний. Можно улучшить производительность по многим задачам зрения, просто тренируя лучшую базовую модель. Наконец, как и ожидалось, мы представляем новые современные результаты для различных задач зрения, включая классификацию изображений, обнаружение объектов, семантическую сегментацию и оценку позы человека. Мы искренне надеемся, что это вдохновляет видение сообщества не недооценивать данные и развивать коллективные усилия по созданию больших наборов данных. мы показываем, что обучение представлению (или предварительная подготовка) все еще имеет много обещаний. Можно улучшить производительность по многим задачам зрения, просто тренируя лучшую базовую модель. Наконец, как и ожидалось, мы представляем новые современные результаты для различных задач зрения, включая классификацию изображений, обнаружение объектов, семантическую сегментацию и оценку позы человека. Мы искренне надеемся, что это вдохновляет видение сообщества не недооценивать данные и развивать коллективные усилия по созданию больших наборов данных. мы показываем, что обучение представлению (или предварительная подготовка) все еще имеет много обещаний. Можно улучшить производительность по многим задачам зрения, просто тренируя лучшую базовую модель. Наконец, как и ожидалось, мы представляем новые современные результаты для различных задач зрения, включая классификацию изображений, обнаружение объектов, семантическую сегментацию и оценку позы человека. Мы искренне надеемся, что это вдохновляет видение сообщества не недооценивать данные и развивать коллективные усилия по созданию больших наборов данных.

Только когда мы используем умные модели / данные / алгоритмы, обученные с помощью умных непредвзятых и разнообразных данных, глубокое обучение становится настоящим ИИ глубокого обучения.

Бритва Оккама или закон скупости для ИИ гласит:

«Данные не должны умножаться без необходимости».

| |



Онлайн-курс
«Всё о блокчейне и криптовалютах»
Один из самых трендовых курсов в сфере Цифровой экономики.