Запуск Llama 405b на своем сервере. vLLM, docker.

Детально показываю, как запустить самую мощную открытую нейросеть Llama 405b на своем сервере. Описание модели Llama 405b на сайте Meta* Сервер покупал тут: Прикладная конференция по Data Science AI conf 2024: Описание модели Llama 3.5 405b instruct AWQ на huggingface: Доступ ко всем сайтам получаю тут: vllm - проект по инференсу нейросетей: Рейтинг нейросетей: Мой телеграм канал: В rutube дублирую видео. Подписывайтесь на случай замедления ютуба: Команда для запуска vLLM в докере: sudo docker run --ipc=host --log-opt max-size=10m --log-opt max-file=1 --rm -it --gpus ’"