Back

LLM для кодинга и локальный тест открытых моделей на AMD

LLM кодеры уже показывают отличные результаты на бенчмарках и в реальных задачах. Кажется, сейчас хорошее время, чтобы начать пробовать ими пользоваться. В статье разберем открытые LLM для кодинга. Сравнимы ли они с подписочными моделями? Можно ли их использовать для работы? А есть ли вариант начать локально? В части туториала: 1. Запустим через docker с помощью llama.cpp. 2. Сделаем замеры скорости генерации. 3. Ускорим за счет спекулятивного декодинга. 4. Подключим в vscode, заставим работать локально и через ssh.

https://habr.com/ru/articles/889310/