zhub.link is one of the many independent Mastodon servers you can use to participate in the fediverse.

Administered by:

Server stats:

28
active users

Habr

Мануал по запуску полной модели DeepSeek-R1 локально (бюджет ~6k$)

Давеча наткнулся в экс- Твиттере на интересный тред ( x.com/carrigmat/status/1884244 ) о том, как запустить самую мощную (на сегодня) ИИ reasoning модель DeepSeek-R1 прямо у себя под столом. DeepSeek-R1 — это одна из топовых моделей (из Китая), наделавших много шума (и не только), для задач логики, математики и программирования. Она настолько умная, что может (с некоторыми оговорками) "конкурировать" с решениями от OpenAI, но при этом её можно запустить локально , без интернета , без смс и полностью контролировать весь процесс. Почему это круто? * все данные остаются с вами, никакие сторонние сервисы не получат доступ к вашим запросам. * запуск на своём железе избавляет от затрат на облачные сервисы. * модель способна решать сложные задачи и выдавать результаты на уровне профессионалов. В статье я расскажу: * какое оборудование нужно для запуска DeepSeek-R1. * чем локальный запуск отличается от серверного. * какие возможности открывает эта модель и как она может быть полезна. * как сохранить безопасность и приватность при работе с ИИ. В этом мануале описано, как настроить локальный запуск модели DeepSeek-R1 Q8 , сохраняя максимальное качество и производительность без дистилляции или уменьшенной квантизации. Общая стоимость сборки составит около ~ $6,000 , и ниже приведены все необходимые ссылки на компоненты и инструкции.

habr.com/ru/articles/877832/

X (formerly Twitter)Matthew Carrigan (@carrigmat) on XComplete hardware + software setup for running Deepseek-R1 locally. The actual model, no distillations, and Q8 quantization for full quality. Total cost, $6,000. All download and part links below: