Лекция 11. Over-parameterized модели. Оптимальные методы для поиска стационарных точек

Сходимость ускоренного SGD в предположении SGC. Рестарты и регуляризация. Невыпуклая оптимизация: общий взгляд на оптимальные методы невыпуклой оптимизации первого порядка (градиентный спуск, SGD и SPIDER).