[3Blue1Brown] Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение
🎯 Загружено автоматически через бота:
🚫 Оригинал видео:
📺 Данное видео является собственностью канала 3Blue1Brown. Оно представлено в нашем сообществе исключительно в информационных, научных, образовательных или культурных целях. Наше сообщество не утверждает никаких прав на данное видео. Пожалуйста, поддержите автора, посетив его оригинальный канал: @3blue1brown.
✉️ Если у вас есть претензии к авторским правам на данное видео, пожалуйста, свяжитесь с нами по почте support@, и мы немедленно удалим его.
📃 Оригинальное описание:
Демистификация самовнимания, множественных голов и перекрестного внимания.
Вместо спонсорского чтения рекламы эти уроки финансируются непосредственно зрителями:
Не менее ценная форма поддержки - просто поделиться видео.
Другие ресурсы о трансформаторах
Видеоролики Андрея Карпати
Посты по теме “Трансформаторные схемы“, автор Anthropic
В частности, только прочитав этот пост, я начал думать о комбинации матриц значения и выхода как о комбинированной низкоранговой карте из пространства вложения в себя, что, по крайней мере, в моем сознании, сделало все намного яснее, чем другие источники.
История языковых моделей от Брит Круз, @ArtOfTheProblem
Что такое языковая модель от @vcubingx
Сайт с упражнениями, связанными с ML-программированием и GPT
Ранняя статья о том, как направления в пространствах встраивания имеют смысл:
Временные метки:
0:00 - Обзор вкраплений
1:39 - Мотивирующие примеры
4:29 - Шаблон внимания
11:08 - Маскировка
12:42 - Размер контекста
13:10 - Ценности
15:44 - Параметры подсчета
18:21 - Перекрестное внимание
19:19 - Множественные головы
22:16 - Матрица вывода
23:19 - Идти глубже
24:54 - Окончание
11 views
0
0
4 weeks ago 00:08:15 18
[Wild Mathing] Как создавать математические анимации?
2 months ago 00:03:41 16
Как LLM хранят факты? Принес вам на вечер субботы отличный ролик от 3blue1brown
2 months ago 00:15:56 30
Глава 4. Визуализация цепного правила и производной произведения | Суть математического анализа [Субтитры]
4 months ago 00:14:48 1
Визуализация всех возможных пифагоровых троек [3Blue1Brown]
6 months ago 00:08:16 1
Как создавать математические анимации?
1 year ago 00:53:02 1
Выпуск 48: Профессия Data Scientist в игровой индустрии
1 year ago 01:03:53 2
PyTorch | Урок #5 | Пишем ResNet с нуля
2 years ago 00:08:15 201.8K
Как создавать математические анимации
2 years ago 00:08:15 22
Как создавать математические анимации - Wild Mathing
3 years ago 00:36:11 32
Trying to Improve My Geography Game with More Real-World Data
3 years ago 01:03:56 1
Лекция . Визуализация электромагнитных волн
3 years ago 00:24:26 2
The Beauty of Bézier Curves
4 years ago 00:15:35 125
Суть матанализа. Часть 4. Визуализация правила произведения и сложной функции // 3Blue1Brown