Искусственные нейронные сети

Почему PyTorch проще в использовании, чем TensorFlow?

Любит | Нелюбов | Ответы | Вид | 9308


Аллан Брукс научный сотрудник NextEra Energy   
@ | Обновлено Right Now


Dropout используется, когда у вас есть много данных, которые вам нужно ограничить в вашей нейронной сети.

Что это обозначает?

Представьте, что у вас есть большой набор данных (ТБ данных), который необходим для обучения нейронной сети. Если вы используете неглубокую сеть, то ваша модель быстро перегрузится.

Почему это происходит?

Ну, не вдаваясь в математику за этим, причина в основном в том, что вам не хватает параметров модели (или весов), чтобы охватить все отклонения в этом большом наборе данных. (Вот почему глубокое обучение было изобретено в первую очередь в качестве замены традиционных моделей статистики, которые начинают переоснащаться большими наборами данных). Каждый вес - это крошечная переменная, которая пытается выучить небольшую структуру в ваших данных. Чем больше шаблонов у вас в ваших данных, тем больше переменных вам понадобится для захвата этих шаблонов. Чем больше у вас данных, тем больше шаблонов.

Таким образом, мы добавляем больше слоев, чтобы предотвратить наложение, но зачем нам уходить?

Ну, кроме того, что ваш модельный поезд быстрее уходит, вынуждает вашу модель использовать все его веса. Когда ваша модель велика, иногда тренируется только небольшая часть весов, что делает большинство весов бесполезными и не хранит достаточно информации. Чтобы решить эту проблему, на каждой итерации отключается часть весов, что заставляет модель использовать все свои веса для хранения необходимой информации.

| |



Онлайн-курс
«Машинное обучение для людей»
Один из самых трендовых курсов в сфере Цифровой экономики.