Искусственные нейронные сети

Что математики думают об искусственных нейронных сетях?

Любит | Нелюбов | Ответы | Вид | 2094


Коллин Фаррелли Data Scientist / Poet / Social Scientist / Topologist (2009-настоящее время)   
@ | Обновлено Right Now


Выпадение - это в основном техника регуляризации. Он вводит шум в нейронную сеть, чтобы заставить нейронную сеть научиться обобщать достаточно хорошо, чтобы справиться с шумом. (Это большое упрощение, и отсев действительно намного больше, чем просто устойчивость к шуму)

Пакетная нормализация - это в основном метод улучшения оптимизации.

Как побочный эффект, пакетная нормализация вносит некоторый шум в сеть, поэтому она может немного упорядочить модель.

Когда у вас большой набор данных, важно хорошо оптимизировать, и не так важно хорошо его упорядочить, поэтому нормализация партии более важна для больших наборов данных. Конечно, вы можете использовать как пакетную нормализацию, так и отсев одновременно - я делаю это для некоторых из моих GAN в этой статье: [1606.03498] Улучшенные методы для обучения GAN

| |



Онлайн-курс
«Квантовые технологии»
Один из самых трендовых курсов в сфере Цифровой экономики.