Оптимизаторы нейронных сетей | SGD, RMSProp, Adam | | НЕЙРОННЫЕ СЕТИ 8

⚠️ Все ссылки на мои платформы, курсы здесь: Поддержать канал можно оформив подписку на 🎉 🎉 🎉 А можете скидывать монеты на Канал в TG Группа в VK Курсы на платформе Stepik: 1. Библиотеки Python для Data Science 2. Введение в нейронные сети (Keras/Tensorflow) ❓ Вопросы, на которые найдем ответы в этом видео: - Какие есть оптимизаторы? - Какие есть особенности в SGD, Momentum, AdaGrad, RMSProp, Adam? - Какие есть преимущества и недостатки оптимизаторов? 🌟 Реализация модели линейная регрессия - 🤖 Ноутбук из видео 0:00 Введение 0:19 План занятия 0:29 Поддержка 0:45 Задача на сегодня 1:38 Самая простая нейронная сеть 2:28 Визуализация ошибки MSE от весов нейронной сети 3:57 Градиентный спуск GD 4:17 Градиент ошибки MSE 6:06 Алгоритм градиентного спуска 7:12 Реализация градиентного спуска 10:11 Стохастический градиентный спуск SGD 10:57 Алгоритм стохастического градиентного спуска (SGD) 11:31 Реализация стохастического градиентного спуска (SGD) 13:37 Визуализация стохастического градиентного спуска 14:10 Mini-Batch стохастический градиентный спуск 14:44 Алгоритм Mini-Batch стохастического градиентного спуска 14:55 Реализация Mini-Batch стохастического градиентного спуска 16:01 Визуализация Mini-Batch стохастического градиентного спуска 16:27 Сравнение GD, SGD, Mini-Batch SGD 17:28 Визуальное сравнение GD, SGD, Mini-Batch SGD 18:32 SGD Momentum, SGD с импульсом 22:28 Алгоритм SGD Momentum 22:58 Реализация SGD Momentum 24:36 Визуализация SGD Momentum 25:13 Эксперименты с коэффициентом momentum SGD 26:51 SGD в Keras с momentum 27:22 AdaGrad 29:34 Алгоритм AdaGrad 30:03 Реализация AdaGrad 31:45 Визуализация AdaGrad 32:05 AdaGrad в Keras 32:30 RMSProp 33:42 Алгоритм RMSProp 34:15 Реализация RMSProp 35:41 Визуализация RMSProp 35:52 Эксперименты с коэффициентом в RMSProp 37:02 RMSProp в Keras 37:12 Adam 38:24 Алгоритм Adam 38:34 Реализация Adam 40:08 Визуализация Adam 40:21 Adam в Keras 40:30 Эксперимент с оптимизаторами в Keras 41:33 Зафиксировать веса при инициализации, чтобы они не были случайными 42:00 Архитектура сети 42:30 Оформление экспериментов с оптимизаторами 44:59 Отображаем на графике изменение функции потерь 45:59 Резюме занятия 46:08 Минусы и плюсы оптимизаторов 48:49 ♡