Mastodon on ZHub

HabrИсследуем эволюцию архитектур в Computer Vision: Mind Map всех ключевых моделейКомпьютерное зрение (Computer Vision) пережило невероятную эволюцию за последние десятилетия. От простых свёрточных сетей до сложных архитектур, которые сегодня задают стандарты в распознавании изображений, обработке видео и других задачах. Но как разобраться во всём этом многообразии? Чтобы помочь себе (и вам!) лучше понять основные направления развития, я создал Mind Map , которая объединяет ключевые архитектуры Computer Vision — от классических моделей до современных прорывов.<a href="https://habr.com/ru/articles/890724/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/890724/</a><a href="https://zhub.link/tags/computer_vision" class="mention hashtag" rel="tag">#computer_vision</a> <a href="https://zhub.link/tags/mind_maps" class="mention hashtag" rel="tag">#mind_maps</a> <a href="https://zhub.link/tags/deep_learning" class="mention hashtag" rel="tag">#deep_learning</a> <a href="https://zhub.link/tags/machine_learning" class="mention hashtag" rel="tag">#machine_learning</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#машинное_обучение</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/neural_networks" class="mention hashtag" rel="tag">#neural_networks</a> <a href="https://zhub.link/tags/transformers" class="mention hashtag" rel="tag">#transformers</a> <a href="https://zhub.link/tags/resnet" class="mention hashtag" rel="tag">#resnet</a>

HabrПомощник депутата в телефоне. Как я перестал тонуть в жалобах жителей районаВ эпоху, когда технологии проникают во все сферы нашей жизни, локальная политика долгое время оставалась территорией традиционных подходов. Звонки избирателей, бумажные обращения, личные встречи – всё это требовало колоссальных временных затрат и не всегда приводило к желаемой эффективности. Команда разработчиков студии ЯЛ решила это изменить и создала инструмент – "Помощник депутата". В этой статье мы подробно рассмотрим, как работает "Помощник депутата", какие задачи он решает и почему.... но не слова более, пусть он сам расскажет о себе подробнее ... Вчера снова получил 12 обращений от жителей. Три — по затопленному подвалу на Ленина, 23. Пять — по поводу разбитой детской площадки. Остальные — смесь из "когда наконец" и "доколе можно терпеть".<a href="https://habr.com/ru/articles/890490/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/890490/</a><a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/%D0%B1%D0%BE%D1%82%D1%8B_%D1%82%D0%B5%D0%BB%D0%B5%D0%B3%D1%80%D0%B0%D0%BC" class="mention hashtag" rel="tag">#боты_телеграм</a>

HabrПрикручиваем нейросеть к боту, чтобы найти 68 страну для посещенияПривет! Я Лёша, backend‑разработчик, который любит путешествовать. Зато я увлёкся нейронками и доработал самописный Telegram-бот, который мониторит цены на туры и перелёты. Статья будет как раз про ИИ с точки зрения внедрения в пет-проект. Под катом узнаете: — где стоит применить нейронки, а где можно обойтись NLP; — как локально крутить LLM и почему стоит воспользоваться API; — как подбирать промпты, чтобы получать от ИИ не просто ответы, а реально полезную информацию; — зачем вообще в боте для поиска дешёвых авиабилетов (и любых сообщений) нейросети и почему в нём осталась лемматизация / NLP, а в некоторых местах регулярки для поиска сообщений.<a href="https://habr.com/ru/companies/alfa/articles/889684/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/alfa/articles/889684/</a><a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/%D0%BF%D1%83%D1%82%D0%B5%D1%88%D0%B5%D1%81%D1%82%D0%B2%D0%B8%D1%8F" class="mention hashtag" rel="tag">#путешествия</a> <a href="https://zhub.link/tags/telegram%D0%B1%D0%BE%D1%82" class="mention hashtag" rel="tag">#telegramбот</a> <a href="https://zhub.link/tags/petproject" class="mention hashtag" rel="tag">#petproject</a> <a href="https://zhub.link/tags/%D0%BC%D0%BE%D0%BD%D0%B8%D1%82%D0%BE%D1%80%D0%B8%D0%BD%D0%B3_%D1%86%D0%B5%D0%BD" class="mention hashtag" rel="tag">#мониторинг_цен</a> <a href="https://zhub.link/tags/python%D0%B1%D0%B8%D0%B1%D0%BB%D0%B8%D0%BE%D1%82%D0%B5%D0%BA%D0%B8" class="mention hashtag" rel="tag">#pythonбиблиотеки</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейросети</a> <a href="https://zhub.link/tags/nlp" class="mention hashtag" rel="tag">#nlp</a> <a href="https://zhub.link/tags/llm%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="tag">#llmмодели</a> <a href="https://zhub.link/tags/%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B" class="mention hashtag" rel="tag">#авиабилеты</a>

HabrЭконофизика и физически-обоснованные нейронные сетиЭконофизика — область науки, которая объединила в себе экономическую теорию и физические методы. По случаю выхода нашей с коллегами научной статьи , решил рассказать об этой концепции. И про то, как современные подходы машинного обучения могут способствовать построению эконофизических и социофизических моделей.<a href="https://habr.com/ru/articles/889574/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/889574/</a><a href="https://zhub.link/tags/%D1%8D%D0%BA%D0%BE%D0%BD%D0%BE%D1%84%D0%B8%D0%B7%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="tag">#эконофизика</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="tag">#искусственный_интеллект</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#машинное_обучение</a> <a href="https://zhub.link/tags/%D0%BB%D0%B0%D0%B3%D1%80%D0%B0%D0%BD%D0%B6%D0%B5%D0%B2%D0%B0_%D0%BC%D0%B5%D1%85%D0%B0%D0%BD%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="tag">#лагранжева_механика</a> <a href="https://zhub.link/tags/%D0%BB%D0%B0%D0%B3%D1%80%D0%B0%D0%BD%D0%B6%D0%B8%D0%B0%D0%BD" class="mention hashtag" rel="tag">#лагранжиан</a> <a href="https://zhub.link/tags/%D1%84%D0%B8%D0%BD%D0%B0%D0%BD%D1%81%D1%8B" class="mention hashtag" rel="tag">#финансы</a> <a href="https://zhub.link/tags/%D1%81%D0%BE%D1%86%D0%B8%D0%BE%D1%84%D0%B8%D0%B7%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="tag">#социофизика</a> <a href="https://zhub.link/tags/pinn" class="mention hashtag" rel="tag">#pinn</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a>

HabrМышиная машина состояний: ученые обнаружили ключевой принцип обучения мозга — и он совпал с теорией GoogleЗадачу научить нейросети точно воспроизводить процессы, происходящие в живом мозге, пока решить не удалось. Одна из сложностей — понять, как именно мозг формирует «когнитивные карты» — внутренние представления о пространстве вокруг нас, которые помогают нам ориентироваться. Исследователям из Janelia Research Campus (США) впервые удалось в реальном времени отследить, как создаются когнитивные карты. Используя комбинацию виртуальной реальности, генетически модифицированных мышей со «светящимися нейронами» и высокоточную микроскопию, они смогли увидеть, как гиппокамп — часть мозга, отвечающая за память и навигацию — формирует эти самые когнитивные карты. Наблюдая за мышами, учившимися находить награду, исследователи увидели, как изначально хаотичная активность нейронов постепенно организуется, формируя четкие паттерны. Самым интересным оказалось, что процесс в точности соответствовал предсказаниям компьютерной модели CSCG (Clone-Structured Causal Graph), созданной специалистами Google DeepMind и Vicarious AI. О сути эксперимента и его результатах рассказываем в этом тексте.<a href="https://habr.com/ru/companies/gazprombank/articles/888420/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/gazprombank/articles/888420/</a><a href="https://zhub.link/tags/%D0%BC%D1%8B%D1%88%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#мышление</a> <a href="https://zhub.link/tags/%D0%B3%D0%B8%D0%BF%D0%BF%D0%BE%D0%BA%D0%B0%D0%BC%D0%BF" class="mention hashtag" rel="tag">#гиппокамп</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B2%D1%8F%D0%B7%D0%B8" class="mention hashtag" rel="tag">#нейронные_связи</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%B0_%D1%81%D0%BE%D1%81%D1%82%D0%BE%D1%8F%D0%BD%D0%B8%D0%B9" class="mention hashtag" rel="tag">#машина_состояний</a> <a href="https://zhub.link/tags/%D0%B1%D0%B8%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F" class="mention hashtag" rel="tag">#биология</a> <a href="https://zhub.link/tags/%D1%8D%D0%BA%D1%81%D0%BF%D0%B5%D1%80%D0%B8%D0%BC%D0%B5%D0%BD%D1%82" class="mention hashtag" rel="tag">#эксперимент</a>

Habr 25+Подключаем AI к LibreOffice: плагин localwriterПрошло всего несколько лет с момента взрыва популярности нейросетей, и уже практически невозможно найти профессию, связанную с работой за компьютером, которая не использовала бы AI для ускорения работы или улучшения её качества. Эта революция повлияла на всех, включая самых маленьких детей. Но, наигравшись с надиктовыванием указаний телефону и написанием запросов в браузере, хочется большего. И мы начинаем искать способы внедрить AI в программы, в которых работаем ежедневно. Программисты дают указания для написания кода через GitHub Copilot прямо из родной среды программирования. Появились плагины для MS Office, которые позволяют подключить AI. Но есть некоторые нюансы. Основная проблема этих плагинов не в том, что они стоят денег, а в том, что они отправляют почти все данные, с которыми вы работаете, на серверы провайдеров AI-услуг. По условиям использования провайдеры AI-сервисов открыто заявляют «Не отправляйте нам приватные данные, мы будем делать с ними, что захотим, включая передачу третьим лицам». И это полностью закрывает путь к использованию подобных сервисов там, где данные хоть сколько-нибудь чувствительны к утечке. Как запустить локально AI-модель и установить плагин в LibreOffice для работы с нейросетью<a href="https://habr.com/ru/companies/ruvds/articles/881964/?utm_campaign=881964" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ruvds/articles/881964/?utm_campaign=881964</a><a href="https://zhub.link/tags/ruvds_%D1%81%D1%82%D0%B0%D1%82%D1%8C%D0%B8" class="mention hashtag" rel="tag">#ruvds_статьи</a> <a href="https://zhub.link/tags/libreoffice" class="mention hashtag" rel="tag">#libreoffice</a> <a href="https://zhub.link/tags/libreoffice_writer" class="mention hashtag" rel="tag">#libreoffice_writer</a> <a href="https://zhub.link/tags/chatgpt" class="mention hashtag" rel="tag">#chatgpt</a> <a href="https://zhub.link/tags/ai" class="mention hashtag" rel="tag">#ai</a> <a href="https://zhub.link/tags/ollama" class="mention hashtag" rel="tag">#ollama</a> <a href="https://zhub.link/tags/gemma" class="mention hashtag" rel="tag">#gemma</a> <a href="https://zhub.link/tags/deepseek" class="mention hashtag" rel="tag">#deepseek</a> <a href="https://zhub.link/tags/localwriter" class="mention hashtag" rel="tag">#localwriter</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#машинное_обучение</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="tag">#искусственный_интеллект</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a>

HabrПодключаем AI к LibreOffice: плагин localwriterПрошло всего несколько лет с момента взрыва популярности нейросетей, и уже практически невозможно найти профессию, связанную с работой за компьютером, которая не использовала бы AI для ускорения работы или улучшения её качества. Эта революция повлияла на всех, включая самых маленьких детей. Но, наигравшись с надиктовыванием указаний телефону и написанием запросов в браузере, хочется большего. И мы начинаем искать способы внедрить AI в программы, в которых работаем ежедневно. Программисты дают указания для написания кода через GitHub Copilot прямо из родной среды программирования. Появились плагины для MS Office, которые позволяют подключить AI. Но есть некоторые нюансы. Основная проблема этих плагинов не в том, что они стоят денег, а в том, что они отправляют почти все данные, с которыми вы работаете, на серверы провайдеров AI-услуг. По условиям использования провайдеры AI-сервисов открыто заявляют «Не отправляйте нам приватные данные, мы будем делать с ними, что захотим, включая передачу третьим лицам». И это полностью закрывает путь к использованию подобных сервисов там, где данные хоть сколько-нибудь чувствительны к утечке. Как запустить локально AI-модель и установить плагин в LibreOffice для работы с нейросетью<a href="https://habr.com/ru/companies/ruvds/articles/881964/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ruvds/articles/881964/</a><a href="https://zhub.link/tags/ruvds_%D1%81%D1%82%D0%B0%D1%82%D1%8C%D0%B8" class="mention hashtag" rel="tag">#ruvds_статьи</a> <a href="https://zhub.link/tags/libreoffice" class="mention hashtag" rel="tag">#libreoffice</a> <a href="https://zhub.link/tags/libreoffice_writer" class="mention hashtag" rel="tag">#libreoffice_writer</a> <a href="https://zhub.link/tags/chatgpt" class="mention hashtag" rel="tag">#chatgpt</a> <a href="https://zhub.link/tags/ai" class="mention hashtag" rel="tag">#ai</a> <a href="https://zhub.link/tags/ollama" class="mention hashtag" rel="tag">#ollama</a> <a href="https://zhub.link/tags/gemma" class="mention hashtag" rel="tag">#gemma</a> <a href="https://zhub.link/tags/deepseek" class="mention hashtag" rel="tag">#deepseek</a> <a href="https://zhub.link/tags/localwriter" class="mention hashtag" rel="tag">#localwriter</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#машинное_обучение</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="tag">#искусственный_интеллект</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a>

HabrMarigold-DCПостроение 3D мира стало необходимым с появлением автопилотов для построения карт и планирования маршрутов. Данная статья про одно из решений задачи Depth Completion (получение 3D карты по лидарным точкам и изображениям с камер). Попыталась разобраться в архитектуре Marigold-DC. Надеюсь, будет интересно ❤️<a href="https://habr.com/ru/articles/886204/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/886204/</a><a href="https://zhub.link/tags/%D0%B4%D0%B8%D1%84%D1%84%D1%83%D0%B7%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="tag">#диффузионные_модели</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/3d_%D1%80%D0%B5%D0%BA%D0%BE%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#3d_реконструкция</a> <a href="https://zhub.link/tags/depth_map" class="mention hashtag" rel="tag">#depth_map</a> <a href="https://zhub.link/tags/%D0%BA%D0%B0%D1%80%D1%82%D0%B0_%D0%B3%D0%BB%D1%83%D0%B1%D0%B8%D0%BD%D1%8B" class="mention hashtag" rel="tag">#карта_глубины</a> <a href="https://zhub.link/tags/diffusion_models" class="mention hashtag" rel="tag">#diffusion_models</a> <a href="https://zhub.link/tags/neural_networks" class="mention hashtag" rel="tag">#neural_networks</a> <a href="https://zhub.link/tags/3d_reconstruction" class="mention hashtag" rel="tag">#3d_reconstruction</a>

HabrУмный помощник для корпоративного обучения: опыт внедрения RAG-системы в крупной компанииВ этой статье мы детально разберем процесс создания корпоративной RAG-системы для поиска по обучающим материалам. Вы узнаете: • Какие эмбеддинг-модели лучше работают с русским языком и как оценивать их качество. • Как повысить точность поиска, комбинируя векторные и классические подходы (BM25+). • Практические приемы промпт-инжиниринга для улучшения качества ответов LLM. • Технические детали реализации расширения контекста и маршрутизации запросов между разными источниками. • Методы оценки качества работы RAG-системы в корпоративной среде. Статья будет особенно полезна разработчикам и техлидам, которые планируют внедрять подобные решения в своих компаниях.<a href="https://habr.com/ru/companies/doubletapp/articles/886108/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/doubletapp/articles/886108/</a><a href="https://zhub.link/tags/rag" class="mention hashtag" rel="tag">#rag</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D1%80%D0%BF%D0%BE%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#корпоративное_обучение</a> <a href="https://zhub.link/tags/llm" class="mention hashtag" rel="tag">#llm</a> <a href="https://zhub.link/tags/llm%D0%B0%D0%B3%D0%B5%D0%BD%D1%82" class="mention hashtag" rel="tag">#llmагент</a> <a href="https://zhub.link/tags/llm%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="tag">#llmприложения</a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%82%D0%B5%D0%B3%D1%80%D0%B0%D1%86%D0%B8%D1%8F_llm" class="mention hashtag" rel="tag">#интеграция_llm</a> <a href="https://zhub.link/tags/%D1%87%D0%B0%D1%82_%D0%B1%D0%BE%D1%82" class="mention hashtag" rel="tag">#чат_бот</a> <a href="https://zhub.link/tags/%D1%83%D0%BC%D0%BD%D1%8B%D0%B9_%D0%B0%D1%81%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BD%D1%82" class="mention hashtag" rel="tag">#умный_ассистент</a> <a href="https://zhub.link/tags/langchain" class="mention hashtag" rel="tag">#langchain</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a>

HabrНет времени объяснять: рыбки данио-рерио, роботы-хищники и быстрое обучениеПроцесс обучения является жизненно важным аспектом жизни любого организма. Знания об окружающей среде, ее обитателях и, как следствие, о потенциальных угрозах позволяет организму выжить. При этом далеко не все новорожденные позвоночные находятся под опекой своих родителей длительное время, что позволяет им перенять их опыт. Часто в мире дикой природы существо после рождения остается наедине с окружающим миром и таящимися в нем опасностями. И в таких случаях любопытно понять, как именно животные, которым буквально без году неделя, а то и всего один день, обучаются. Ученые из Медицинского института Говарда Хьюза (Мэриленд, США) разработали систему наблюдения, в которой роботизированные хищники гоняются за молодыми рыбками данио-рерио, что позволяет наблюдать за процессом их обучения и адаптации. Как работают данные роботы, каково было поведение рыбок, и к каким выводам пришли исследователи? Ответы на эти вопросы мы найдем в докладе ученых.<a href="https://habr.com/ru/companies/ua-hosting/articles/885570/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ua-hosting/articles/885570/</a><a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/%D0%BC%D0%BE%D0%B7%D0%B3" class="mention hashtag" rel="tag">#мозг</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#обучение</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D0%BD%D0%B8%D0%BE%D1%80%D0%B5%D1%80%D0%B8%D0%BE" class="mention hashtag" rel="tag">#даниорерио</a> <a href="https://zhub.link/tags/%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D1%8B" class="mention hashtag" rel="tag">#роботы</a> <a href="https://zhub.link/tags/%D1%85%D0%B8%D1%89%D0%BD%D0%B8%D0%BA%D0%B8" class="mention hashtag" rel="tag">#хищники</a> <a href="https://zhub.link/tags/%D1%8D%D0%B2%D0%BE%D0%BB%D1%8E%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#эволюция</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D0%B0%D0%BA%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D1%81%D1%82%D1%8C" class="mention hashtag" rel="tag">#нейронная_активность</a> <a href="https://zhub.link/tags/%D0%B0%D0%B4%D0%B0%D0%BF%D1%82%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#адаптация</a> <a href="https://zhub.link/tags/%D0%B8%D0%B7%D0%B1%D0%B5%D0%B3%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#избегание</a>

HabrРазработка библиотеки для навигации групп мобильных роботов на транспортной платформе в заранее неизвестной средеРазработка библиотеки для навигации групп мобильных роботов на транспортной платформе в заранее неизвестной среде<a href="https://habr.com/ru/articles/883636/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/883636/</a><a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/%D1%81%D0%B2%D0%B5%D1%80%D1%82%D0%BE%D1%87%D0%BD%D1%8B%D0%B5_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#сверточные_нейронные_сети</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81_%D0%BF%D0%BE%D0%B4%D0%BA%D1%80%D0%B5%D0%BF%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5%D0%BC" class="mention hashtag" rel="tag">#обучение_с_подкреплением</a>

HabrМетод максимального правдоподобия и информация Фишера: от А до ЯВсем привет👋🏻 Сегодня я хотел бы рассказать про метод максимального правдоподобия и информацию Фишера и еще несколько смежных тем , которые активно используются в машинном обучении и анализе данных . Расскажу я об этом просто, понятно и без воды, но с практическими примерами , в том числе на Python. В данной статье я постараюсь изложить информацию таким образом, чтобы даже относительно малоподготовленный читатель смог понять как все устроено и работает на практике, и так, как предпочел бы, чтобы тему объяснили мне, то есть предоставлю инструментарий , объясню как им пользоваться в разных ситуациях и покажу это на практике. Присаживайтесь поудобнее, заварите кофейку и запаситесь печеньки, нам предстоит интересный путь🍪 Go little rockstar⭐<a href="https://habr.com/ru/articles/830326/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/830326/</a><a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="tag">#аналитика</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#машинное_обучение</a> <a href="https://zhub.link/tags/%D1%81%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="tag">#статистика</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="tag">#математика</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="tag">#python</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="tag">#искусственный_интеллект</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#анализ_данных</a>

HabrТипы и архитектуры параллельных вычислений: какие они бывают?Привет, Хабр! В этом материале мы снова вернемся к теме GPU и машинного обучения, но на этот раз поговорим о параллельных вычислениях, видах параллелизма и типах архитектур, которые задействуют для эффективной тренировки и работы нейросетевых моделей.<a href="https://habr.com/ru/articles/881488/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/881488/</a><a href="https://zhub.link/tags/%D0%BF%D0%B0%D1%80%D0%B0%D0%BB%D0%BB%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="tag">#параллельные_вычисления</a> <a href="https://zhub.link/tags/gpu" class="mention hashtag" rel="tag">#gpu</a> <a href="https://zhub.link/tags/gpu_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="tag">#gpu_вычисления</a> <a href="https://zhub.link/tags/%D0%BF%D0%B0%D1%80%D0%B0%D0%BB%D0%BB%D0%B5%D0%BB%D0%B8%D0%B7%D0%BC" class="mention hashtag" rel="tag">#параллелизм</a> <a href="https://zhub.link/tags/%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0" class="mention hashtag" rel="tag">#архитектура</a> <a href="https://zhub.link/tags/%D0%B3%D0%BB%D1%83%D0%B1%D0%BE%D0%BA%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#глубокое_обучение</a> <a href="https://zhub.link/tags/%D0%B3%D0%BB%D1%83%D0%B1%D0%BE%D0%BA%D0%B8%D0%B5_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#глубокие_нейронные_сети</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8_%D0%B8_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#нейронные_сети_и_машинное_обучение</a> <a href="https://zhub.link/tags/cpu" class="mention hashtag" rel="tag">#cpu</a>

HabrThreshold U-Net: как мы отказались от высокого разрешения и выиграли в скорости бинаризацииХоть современный ИИ уже почти в состоянии написать симфонию и превратить холст в шедевр, некоторые простые задачи все еще не так просты, если наложить ограничения на решение. Так как главной задачей у нас, в Smart Engines , является распознавание и оцифровка документов , то для нас ограничениями являются скорость работы и возможность запуска системы на вычислительно слабых конечных устройствах. В этой статье мы вспомним об одной классической задаче обработки изображений – бинаризации документов. А также расскажем, как нам удалось существенно оптимизировать нейросетевую модель бинаризации, сохранив исходное качество, и причем тут современные модели детекции текста.<a href="https://habr.com/ru/companies/smartengines/articles/881148/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/smartengines/articles/881148/</a><a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#машинное_обучение</a> <a href="https://zhub.link/tags/unet" class="mention hashtag" rel="tag">#unet</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/%D0%B1%D0%B8%D0%BD%D0%B0%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#бинаризация</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9" class="mention hashtag" rel="tag">#обработка_изображений</a> <a href="https://zhub.link/tags/smart_engines" class="mention hashtag" rel="tag">#smart_engines</a> <a href="https://zhub.link/tags/%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D1%8B" class="mention hashtag" rel="tag">#алгоритмы</a>

Habr[Перевод] Клон ChatGPT в 3000 байтах на C, основанный на GPT-2Эта программа представляет собой свободную от зависимостей реализацию GPT-2. Она загружает матрицу весов и файл BPE из оригинальных файлов TensorFlow, токенизирует вывод при помощи простого энкодера, работающего по принципу частотного кодирования, реализует базовый пакет для линейной алгебры, в котором заключены математические операции над матрицами, определяет архитектуру трансформера, выполняет инференс трансформера, а затем очищает вывод от токенов при помощи BPE-декодера. Всё это — примерно в 3000 байт на C. Код достаточно эффективно оптимизирован — настолько, что малый GPT-2 на любой современной машине выдаёт отклик всего за несколько секунд. Чтобы этого добиться, я реализовал KV-кэширование и применил эффективный алгоритм перемножения матриц, а также добавил опциональный OMP-параллелизм. Взяв это за основу, можно создать некий аналог Chat GPT — при условии, что вас не слишком волнует качество вывода (объективно говоря, вывод получается просто ужасный… но решение работает). Здесь есть некоторые глюки (особенно с обработкой символов в кодировке UTF-8), а для эксплуатации модели размером XL с широким контекстным окном может потребоваться ~100 ГБ оперативной памяти. Но, если вы просто набираете текст в кодировке ASCII при помощи малого GPT2, то такая модель должна нормально работать примерно везде. Я выложил весь код на GitHub , поэтому можете свободно брать его там и экспериментировать с ним.<a href="https://habr.com/ru/articles/879662/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/879662/</a><a href="https://zhub.link/tags/gpt" class="mention hashtag" rel="tag">#gpt</a> <a href="https://zhub.link/tags/%D1%82%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B5%D1%80%D1%8B" class="mention hashtag" rel="tag">#трансформеры</a> <a href="https://zhub.link/tags/C" class="mention hashtag" rel="tag">#C</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a>

HabrОптическая криптография: нейронные сети, голограммы, лазеры и этанолРазвитие технологий коммуникации сопряжено с двумя соперничающими процессами — развитием информационной безопасности и развитием методов ее обхода. Это вечное противостояние весьма полезно, так как заставляет технологии цифровой безопасности развиваться и не стоять на месте. Ученые из Института электронных структур и лазеров (Греция) разработали новую оптическую систему шифрования, которую невозможно взломать классическими методами. Из чего состоит данная система, как она работает, и действительно она так надежна? Ответы на эти вопросы мы найдем в докладе ученых.<a href="https://habr.com/ru/companies/ua-hosting/articles/879288/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ua-hosting/articles/879288/</a><a href="https://zhub.link/tags/%D1%88%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#шифрование_данных</a> <a href="https://zhub.link/tags/%D0%B3%D0%BE%D0%BB%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D1%8B" class="mention hashtag" rel="tag">#голограммы</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/%D0%BA%D1%80%D0%B8%D0%BF%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%8F" class="mention hashtag" rel="tag">#криптография</a> <a href="https://zhub.link/tags/%D0%BB%D0%B0%D0%B7%D0%B5%D1%80%D1%8B" class="mention hashtag" rel="tag">#лазеры</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D0%B4%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#кодирование</a> <a href="https://zhub.link/tags/%D0%B4%D0%B5%D0%BA%D0%BE%D0%B4%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#декодирование</a> <a href="https://zhub.link/tags/%D0%B1%D0%B5%D0%B7%D0%BE%D0%BF%D0%B0%D1%81%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#безопасность_данных</a>

HabrLoss Landscape Analysis — новая библиотека для анализа точности обучения и оценки обобщающей способности нейросетейМой коллега Никита Габдуллин работает в Отделе перспективных исследований ИТ-компании «Криптонит». Он автор библиотеки Loss Landscape Analysis (LLA) и научной статьи о ней, препринт которой доступен на английском языке. Здесь мы публикуем адаптированную русскоязычную статью с некоторыми вольностями, которые не приняты в академической среде, но упрощают восприятие текста. При работе с нейросетями-классификаторами у всех на слуху какие-то известные архитектуры, которые характеризуются числом параметров, скоростью вычислений (инференса), точностью выполнения той или иной известной задачи. Популярны соревнования, посвящённые тому, насколько точно можно решить задачу классификации на типовых датасетах, и часто борьба уже идёт за доли процента [ PWC ]. Однако в реальных задачах нейросети часто показывают себя куда хуже, чем в «лабораторных» условиях, что переводит акццнт внимания с тренировочных и тестовых (train-test) задач на проверку обобщающей способности (generalization) нейросетей. В наших работах мы столкнулись с тем, что нейросети одного типа могут иметь практически идентичные показатели train-test, но демонстрировать кардинально отличающиеся результаты на датасетах, отличных от тренировочного. Без углублённого анализа непонятно, за счёт чего возникают такие эффекты. Поэтому для таких нейросетей очень сложно выполнить оценку их реальной обобщающей способности. Это вдохновило нас на поиски методов, которые позволили бы проанализировать обобщающую способность нейросети с теми или иными весами, среди которых метод построения ландшафта функции потерь (loss landscape) показался интересным кандидатом. В интернете несложно найти чрезвычайно красивые визуализации результатов анализа ландшафта функции потерь [ LLcom ], некоторые из которых даже пытаются продавать как произведения искусства. Однако, любуясь такими картинами, легко забыть, что это — в первую очередь инструмент анализа каких-то свойств нейросетей. Получение красивых картинок — средство, а не цель. Найти хорошую библиотеку по данной тематике для применения в исследовательской работе оказалось куда сложнее, чем найти сайты с красивыми картинками.<a href="https://habr.com/ru/companies/kryptonite/articles/877122/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/kryptonite/articles/877122/</a><a href="https://zhub.link/tags/loss" class="mention hashtag" rel="tag">#loss</a> <a href="https://zhub.link/tags/landscape" class="mention hashtag" rel="tag">#landscape</a> <a href="https://zhub.link/tags/analysis" class="mention hashtag" rel="tag">#analysis</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D0%BE%D0%B1%D1%89%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#обобщение</a> <a href="https://zhub.link/tags/%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%BE%D1%82%D0%B5%D1%80%D1%8C" class="mention hashtag" rel="tag">#функция_потерь</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7" class="mention hashtag" rel="tag">#анализ</a> <a href="https://zhub.link/tags/%D0%B2%D0%B8%D0%B7%D1%83%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#визуализация</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейросети</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#машинное_обучение</a>

HabrАнализ обработки признаков в YOLO NAS S при помощи CAMМетоды объяснения моделей — практичный инструмент для понимания модели, оценки её точности и стабильности. Однако, часто можно столкнуться с ситуацией, когда фреймворк, в котором метод реализован, просто не "дружит" с реализацией модели. В этом туториале хочу подробно показать CAM (class activation map) для объяснения моделей зрения.<a href="https://habr.com/ru/articles/876478/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/876478/</a><a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#машинное_обучение</a> <a href="https://zhub.link/tags/explainable_ai" class="mention hashtag" rel="tag">#explainable_ai</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/pytorch" class="mention hashtag" rel="tag">#pytorch</a>

HabrПара слов о робастном распознавании речи или как «Писец» на Тотальный диктант ходилВ 2024 году состоялся юбилейный, десятый Тотальный диктант. Тогда на него пришёл «Писец». Вы не подумайте, не произошло ничего плохого. «Писец» — это открытая система автоматической расшифровки речи, от журналистского интервью до заседания диссертационного совета. Будто древнерусский пи́сец, который записывает за боярином всё, что тот говорит, и затем сохраняет в виде структурированного текста с таймингами. Я — Иван Бондаренко, старший преподаватель и научный сотрудник Новосибирского государственного университета, сооснователь стартапа «Сибирские нейросети». Вместе с коллегами я реализовал систему, которая помогает в расшифровке живых бесед на русском языке. Мы назвали её «Писец» и протестировали на Тотальном диктанте. В этой статье расскажу, что у нас получилось: как выбирали модели, наборы данных, инструменты, как использовали Wav2Vec2 и Whisper в пайплайне распознавания, файнтюнили Whisper. Ещё коснусь вопросов робастного обучения, парадигмы минимизации инвариантного риска и понятия среды (environment) в распознавании речи.<a href="https://habr.com/ru/companies/oleg-bunin/articles/867722/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/oleg-bunin/articles/867722/</a><a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D0%BE%D0%B7%D0%BD%D0%B0%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D1%80%D0%B5%D1%87%D0%B8" class="mention hashtag" rel="tag">#распознавание_речи</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D1%8B%D0%B9_%D0%BA%D0%BE%D0%B4" class="mention hashtag" rel="tag">#открытый_код</a> <a href="https://zhub.link/tags/%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D0%BE%D0%B5_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D0%B5%D1%81%D0%BF%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#открытое_программное_обеспечение</a> <a href="https://zhub.link/tags/%D1%82%D1%80%D0%B0%D0%BD%D1%81%D0%BA%D1%80%D0%B8%D0%B1%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#транскрибация</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B0_%D1%81%D0%BE_%D0%B7%D0%B2%D1%83%D0%BA%D0%BE%D0%BC" class="mention hashtag" rel="tag">#работа_со_звуком</a> <a href="https://zhub.link/tags/wav2vec2" class="mention hashtag" rel="tag">#wav2vec2</a> <a href="https://zhub.link/tags/whisper" class="mention hashtag" rel="tag">#whisper</a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D0%B2%D0%B0%D1%80%D0%B8%D0%B0%D0%BD%D1%82%D0%BD%D1%8B%D0%B5_%D1%80%D0%B8%D1%81%D0%BA%D0%B8" class="mention hashtag" rel="tag">#инвариантные_риски</a> <a href="https://zhub.link/tags/environment" class="mention hashtag" rel="tag">#environment</a>

HabrTemporal Fusion Transformer: улучшение прогнозирования в ритейле с минимальными затратамиВсем привет! Меня зовут Дмитрий Поляков, я работаю аналитиком данных в команде ad-hoc аналитики X5 Tech. В этой статье мы хотели бы рассмотреть задачу прогнозирования, которая является чрезвычайно важной задачей в ритейле. Мы детально рассмотрим основные преимущества и архитектурные особенности модели Temporal Fusion Transformer (TFT), наш подход к использованию этой модели в задаче прогнозирования спроса, и как нам удалось увеличить точность прогнозов в среднем на 7%, затратив при этом минимальные усилия. Также эта статья будет полезна и тем, кто хочет глубже понять принципы работы TFT, изучить её применение в библиотеке Darts и решить задачу прогнозирования для множества многомерных временных рядов.<a href="https://habr.com/ru/companies/X5Tech/articles/869750/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/X5Tech/articles/869750/</a><a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B3%D0%BD%D0%BE%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B2%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D1%80%D1%8F%D0%B4%D0%BE%D0%B2" class="mention hashtag" rel="tag">#прогнозирование_временных_рядов</a> <a href="https://zhub.link/tags/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#нейронные_сети</a> <a href="https://zhub.link/tags/Temporal_Fusion_Transformer" class="mention hashtag" rel="tag">#Temporal_Fusion_Transformer</a> <a href="https://zhub.link/tags/darts" class="mention hashtag" rel="tag">#darts</a> <a href="https://zhub.link/tags/deep_learning" class="mention hashtag" rel="tag">#deep_learning</a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D0%BF%D1%80%D0%B5%D1%82%D0%B8%D1%80%D1%83%D0%B5%D0%BC%D0%BE%D1%81%D1%82%D1%8C" class="mention hashtag" rel="tag">#интерпретируемость</a> <a href="https://zhub.link/tags/attention" class="mention hashtag" rel="tag">#attention</a>

Recent searches

Search options

Administered by:

Server stats:

#нейронные_сети