Kotenkov Igor | Nearest Neighbors Language Models (part 2) | RETRO model

00:00 - 1:50 Вступление 1:50 - 5:27 Datastore 5:27 - 6:45 Верхнеуровневый обзор RETRO 6:45 - 12:41 Self-Attention 101 12:41 - 17:02 Encoder and Decoder 17:02 - 21:10 Детали RETRO 21:10 - 23:21 Архитектура RETRO (1 часть) 23:21 - 25:35 Cross-Attention 101 25:35 - 27:26 Архитектура RETRO (2 часть) 27:26 - 31:17 Chunked Cross Attention 31:17 - 37:10 Метрики и следствия из них 37:10 - 41:14 Выводы и предсказания на будущее Ссылка на презентацию: !AlnN0aqNwShslQucZAy9R5VeGRRt?e=Gc3dgp Наши соц.сети: Telegram: Вконтакте: