Поднимаем DeepSeek llm локально

Все уже слышали про новую модель deepseek r1, которая обогнала по бенчмаркам openai. Компания Deepseek выложила веса и дистилляты в открытый доступ, благодаря чему мы можем их запустить. В статье поднимем дистилляты модели r1 используя llama.cpp - потребуются лишь базовые умения работы с bash, docker и python. Самостоятельный запуск проще простого.

https://habr.com/ru/articles/878836/

Мануал по запуску полной модели DeepSeek-R1 локально (бюджет ~6k$)

Давеча наткнулся в экс- Твиттере на интересный тред ( https://x.com/carrigmat/status/1884244369907278106?s=52 ) о том, как запустить самую мощную (на сегодня) ИИ reasoning модель DeepSeek-R1 прямо у себя под столом. DeepSeek-R1 — это одна из топовых моделей (из Китая), наделавших много шума (и не только), для задач логики, математики и программирования. Она настолько умная, что может (с некоторыми оговорками) "конкурировать" с решениями от OpenAI, но при этом её можно запустить локально , без интернета , без смс и полностью контролировать весь процесс. Почему это круто? * все данные остаются с вами, никакие сторонние сервисы не получат доступ к вашим запросам. * запуск на своём железе избавляет от затрат на облачные сервисы. * модель способна решать сложные задачи и выдавать результаты на уровне профессионалов. В статье я расскажу: * какое оборудование нужно для запуска DeepSeek-R1. * чем локальный запуск отличается от серверного. * какие возможности открывает эта модель и как она может быть полезна. * как сохранить безопасность и приватность при работе с ИИ. В этом мануале описано, как настроить локальный запуск модели DeepSeek-R1 Q8 , сохраняя максимальное качество и производительность без дистилляции или уменьшенной квантизации. Общая стоимость сборки составит около ~ $6,000 , и ниже приведены все необходимые ссылки на компоненты и инструкции.

https://habr.com/ru/articles/877832/

@matthewberman #Ai #Reasoner #TestTimeCompute #Inference

Ep 1-22-2025

#DeepSeek R1 Fully Tested - Insane Performance

https://youtu.be/bOsvI3HYHgI?feature=shared

Пять элементов Inference-платформы Selectel. Как мы сделали своего Аватара

Когда дело доходит до инференса ML-моделей, на ум приходит стандартный вариант — задеплоить Helm chart с Triton в Kubernetes. А что если добавить магии, как в «Аватаре»? Привет! Я — Антон, DevOps-инженер в команде Data/ML-продуктов Selectel. В статье я продолжу рассказывать о нашем новом продукте —

https://habr.com/ru/companies/selectel/articles/867972/

Nvidia Triton Inference Server: строим production ML без разработчиков

Привет, Хабр! Меня зовут Антон, я DevOps-инженер в команде Data/ML-продуктов Selectel. В этой статье расскажу про наш новый продукт —

https://habr.com/ru/companies/selectel/articles/866256/

Пишем сервис инференса ML-модели на go, на примере BERT-а

Привет, на связи команда аналитиков Х5 Tech. В статье пишем сервис инференс ML-NLP модели на go. Допустим, вам нужно внедрить ML-модель (разработанную/обученную на Рython-фреймворке) в сервис в вашей инфраструктуре. По какой-то причине (не важно какой) этот сервис должен быть на golang-е. Здесь покажем, как это можно сделать, используя ONNX. Если вы это читаете, то, вероятно, или вы знакомы с обучением ML-моделей на Рython, библиотекой моделей huggingface, языковыми моделями BERT, или вы являетесь бэкенд разработчиком на golang. В качестве примера будем использовать модель из библиотеки huggingface seara/rubert-tiny2-russian-sentiment , которая классифицирует сантимент текста.

https://habr.com/ru/companies/X5Tech/articles/864438/

Ускорение и облегчение моделей для поддержания диалога виртуальных ассистентов Салют

Привет, Хабр! Меня зовут Александр Абрамов и я ML Lead продукта в SberDevices. Эта статья — про обучение core-моделей retrieval-based диалоговых систем, поговорим про хинты для ускорения обучения и сходимости, также затрону тему общей схемы inference и оптимизации её компонентов. Речь пойдёт о ML с позиции пайплайнов и продакшена виртуального ассистента Салют.

https://habr.com/ru/companies/oleg-bunin/articles/834728/