Применение различных методов оптимизации для моделей суммаризации кода
В стандартном процессе машинного обучения ставится задача поиска глобального минимума функции потерь. При этом ландшафт функции потерь для задач глубокого обучения обычно чрезвычайно сложен, до сих пор неизвестна форма локальных минимумов, их устройство и взаимное расположение. Это приводит к тому, что наиболее популярные на данный момент методы оптимизации (SGD, Adam) могут сойтись в локальный минимум, не являющийся глобальным. К счастью, в последние несколько лет появилось множество подходов, которые модифицируют стандартные SGD и Adam для более качественного обучения моделей и показывают значимое улучшение результатов для исследуемых моделей. Однако, исследователи обычно изучают эффективность предложенных методов на задачах машинного зрения (CIFAR-10, CIFAR-100, ImageNet).
На семинаре мы обсудим принципы работы некоторых из новых методов, а также обобщаемость полученных авторами этих методов результатов на другие задачи глубокого обучения, в частности, на задачу суммаризации кода в имя метода.
Докладчик:
14 views
5
1
6 months ago 00:10:11 1
Копеечный АЛЛОХОЛ спасет Поджелудочную, Печень, Желчный пузырь и даже... Что Творит Аллохол!
6 months ago 06:39:49 1
XIII Международная конференция «Современная православная гимнография» (ИРЯ РАН, )
6 months ago 00:03:54 1
Как убрать подтек после покраски. Зная это вы с легкостью уберете любой подтек.
6 months ago 00:04:53 1
Вот как ВЕНГРЫ испокон веков ЛЕГКО снимают боли и отеки ног!
6 months ago 01:33:00 1
Есть ли польза от использования иммуномодуляторов при лечении ОРВИ?
6 months ago 00:25:55 1
БЕЗУМИЕ ИЛИ НЕОБХОДИМОСТЬ? СНОСИМ ГАРАЖ 8:8м ИЗ ПЕНОБЛОКА @dismantling-LK
6 months ago 00:07:58 1
Бальзам Болотова: полный рецепт, состав и применение / как приготовить эликсир в домашних условиях
6 months ago 00:08:23 1
Старый ВОЕНВРАЧ: Сейчас врачей этому не учать! На что способен камфорный спирт...
6 months ago 00:08:05 1
8 ХИТРОСТЕЙ с содой 💥 Вы не знаете и половины!
6 months ago 02:27:31 1
Анемии 2024
6 months ago 00:05:14 1
Вы ахнете узнав на что способна мазь Метилурацил!
6 months ago 00:04:48 1
Пью девясил и оживаю! Суставы не болят, кровь стала жидкой, давление упало... Девясил
6 months ago 01:06:45 1
Программа для продвижения группы вк Quick Sender Ultra. Обновленная версия программы для вк -
6 months ago 00:09:03 1
Почему боль в пояснице отдает в ногу? Как лечить защемление седалищного нерва? //16+
6 months ago 00:03:44 1
Болезни мрут, Почки вновь как в 19! Запомни - 3 мощнейших напитка для почек...
6 months ago 01:42:48 1
ПОДКАСТ СВОБОДА ОТ ВОЗРАСТА. ТЕМА: БЕЗГРАНИЧНЫЕ ВОЗМОЖНОСТИ
6 months ago 00:11:39 1
💊 РАСТОРОПША ✅ самое лучшее средство 💚 ДЛЯ ПЕЧЕНИ ✅
6 months ago 01:38:25 1
Л.А. Вязов и др. География и хронология славянского расселения по данным археогенетики
6 months ago 00:06:35 1
История 10 класс (Урок№14 - Политическое развитие России в 20-е гг.)
6 months ago 00:05:44 1
Секреты стяжек о которых мало кто знает !!!
6 months ago 00:14:00 1
Что творит ЙОД? / Вот поэтому ЯПОНЦЫ не болеют и живут долго!
6 months ago 00:57:34 1
Новое ток-шоу “Открытый диалог“ с Валерией Токорьян