Большие языковые модели. Как ими пользоваться? // Курс «Machine Learning. Professional»
Обсудим что такое большая языковая модель, какие есть предобученные модели.
Поработаем с API ChatGPT, запустим предобученную RuGPT3.
Посмотрим примеры работы с подходами Zero-shot, Few-shot.
Обсудим, как можно дообучать LLM на небольших видеокартах с помощью LORA модификаторов.
Кому подходит этот урок:
- IT-специалистам, которые хотят внедрить ChatGPT в бизнес-процессы
- Тем кто хочет познакомиться с LLM моделями в экосистеме HuggingFace
- Тем кто хочет понять, как можно адаптировать большие предобученные модели к собственным задачам
Результаты урока: Вы узнаете как работать с API ChatGPT, запускать собственную LLM, представленную на HuggingFace, работать с LORA модификаторами моделей.
«Machine Learning. Professional» -
Преподаватель: Александр Брут-Бруляко - Ds инженер в СБЕР Neurolab
Пройдите опрос по итогам мероприятия -
Следите за новостями проекта:
- Telegram:
- ВКонтакте:
- LinkedIn:
- Хабр:
Эпизоды:
00:00 - Начало записи
01:28 - Знакомство с преподавателем и Otus
04:52 - О чем будет открытый урок (Open AI, Hugging face, Lora модификатор)
06:16 - Токенизация в больших языковых моделях
10:10 - Трансформеры построенные на механизмах внимания
13:00 - Архитектура трансформеров (енкодер, декодер)
15:55 - Эмбеддинг для разных языков
21:15 - Как обучать? Как предсказывать следующий токен по предыдущему токену (loss-функция)
25:52 - Зоопарк LLM
36:18 - Как работает ChatGPT на примерах
47:16 - Как наложить корпоративную базу знаний поверх ChatGPT
53:41 - Что есть в OpenSource ( Hugging face)
1:17:06 - Что такое fine tuning
1:17:58 - Коротко о карьерных перспективах
1 view
534
151
5 months ago 00:42:23 1
Почему НЕЙРОСЕТИ нельзя КОНТРОЛИРОВАТЬ? — ТОПЛЕС
5 months ago 00:02:46 1
Тропарь «Егда славнии ученицы…» на утрене Великого четверга, обиходный распев
5 months ago 00:01:03 1
Эксапостиларий «Чертог Твой...» на утрене Великого четверга, обиходный распев
5 months ago 00:03:21 1
1 девушка поёт на 19 языках / Алиса Супронова
5 months ago 00:16:58 1
На каком языке думают глухие?
5 months ago 00:01:31 1
УМК Beehive – новинка для начальной школы! Learn, grow, fly. Together, we get results!
5 months ago 00:20:54 1
«Мастер и Маргарита» – заслуга Сталина
5 months ago 00:37:54 1
Бахытжан Байжанов. Разбор языка тела на допросе по делу Бишимбаева
5 months ago 00:01:10 1
Великий язык программирования древних Русов
5 months ago 00:17:50 1
Драма. Раневская и Тенин. По рассказу Чехова (1960)
5 months ago 00:26:21 1
Язык тела подростка для самопрезентации
5 months ago 00:18:25 1
ПРАКТИКА - АНГЛИЙСКИЙ ЯЗЫК ДО АВТОМАТИЗМА УРОК 32.1 ГРАММАТИКА УРОКИ АНГЛИЙСКОГО ЯЗЫКА
5 months ago 00:18:10 1
ПРАКТИКА - АНГЛИЙСКИЙ ЯЗЫК ДО АВТОМАТИЗМА УРОК 32.2 ГРАММАТИКА УРОКИ АНГЛИЙСКОГО ЯЗЫКА