Mastodon on ZHub

1 post1 participant0 posts today

HabrCAG и KAG: Улучшенные методы дополнения генерации после RAGЕсли вы следите за развитием технологий в области обработки естественного языка, то наверняка слышали о технологии Retrieval Augmented Generation (RAG), которая объединяет методы поиска с генеративными моделями для создания более интеллектуальных, обогащенных контекстом ответов. Но, как и любая технология, RAG имеет свои особенности, и именно здесь на помощь приходят два подхода: Cache-Augmented Generation (CAG) и Knowledge-Augmented Generation (KAG). В этой статье мы подробно рассмотрим, что представляют собой эти методы, чем они отличаются друг от друга и в чем заключается их преимущество. Давайте начнем! Читать далее -><a href="https://habr.com/ru/companies/raft/articles/891368/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/raft/articles/891368/</a><a href="https://zhub.link/tags/large_language_models" class="mention hashtag" rel="tag">#large_language_models</a> <a href="https://zhub.link/tags/language_processing" class="mention hashtag" rel="tag">#language_processing</a> <a href="https://zhub.link/tags/ai" class="mention hashtag" rel="tag">#ai</a> <a href="https://zhub.link/tags/%D0%B8%D0%B8" class="mention hashtag" rel="tag">#ии</a> <a href="https://zhub.link/tags/%D0%BF%D0%B0%D0%B9%D0%BF%D0%BB%D0%B0%D0%B9%D0%BD" class="mention hashtag" rel="tag">#пайплайн</a> <a href="https://zhub.link/tags/rag" class="mention hashtag" rel="tag">#rag</a>

Habr[Перевод] 250 откликов за 20 минут: как я автоматизировал процесс ответов на вакансииБудем откровенны: поиск работы — это отстой. Это мучительный цикл многократного копипастинга одной и той же информации, внесения сотен мелких правок в резюме и написания сопроводительных писем, которые должны выглядеть, как мольба, но не слишком очевидная. Обратим внимание на следующее: повторяющиеся задачи + структурированный процесс = идеальный кандидат для автоматизации. Поэтому я поступил так, как поступил бы любой разработчик в здравом уме — создал систему автоматизации всей этой фигни. В конечном итоге я смог разослать 250 откликов на вакансии за 20 минут. (Ирония заключается в том, что я получил оффер ещё до того, как закончил создавать эту систему. Подробнее об этом ниже.) В статье я расскажу, как я это сделал.<a href="https://habr.com/ru/companies/ruvds/articles/872114/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ruvds/articles/872114/</a><a href="https://zhub.link/tags/%D0%B2%D0%B0%D0%BA%D0%B0%D0%BD%D1%81%D0%B8%D0%B8" class="mention hashtag" rel="tag">#вакансии</a> <a href="https://zhub.link/tags/%D1%80%D0%B5%D0%B7%D1%8E%D0%BC%D0%B5" class="mention hashtag" rel="tag">#резюме</a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D0%B8%D1%81%D0%BA_%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B" class="mention hashtag" rel="tag">#поиск_работы</a> <a href="https://zhub.link/tags/%D1%81%D0%BE%D0%B1%D0%B5%D1%81%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="tag">#собеседования</a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D1%80%D1%82%D0%B0%D0%BB%D1%8B_%D0%BF%D0%BE_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D1%83_%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B" class="mention hashtag" rel="tag">#порталы_по_поиску_работы</a> <a href="https://zhub.link/tags/%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#автоматизация</a> <a href="https://zhub.link/tags/large_language_models" class="mention hashtag" rel="tag">#large_language_models</a> <a href="https://zhub.link/tags/chatgpt" class="mention hashtag" rel="tag">#chatgpt</a> <a href="https://zhub.link/tags/ruvds_%D0%BF%D0%B5%D1%80%D0%B5%D0%B2%D0%BE%D0%B4" class="mention hashtag" rel="tag">#ruvds_перевод</a>

HabrКак мы обучили Mistral 7B русскому языку и адаптировали для объявлений АвитоПривет! Я Настя Рысьмятова, руковожу командой LLM в Авито . Эта статья — про то, какие задачи мы решаем с помощью языковых моделей и как адаптируем их под себя. Мой опыт будет интересен прежде всего тем, кто тоже занимается большими языковыми моделями в крупных продуктовых компаниях. А всем остальным любопытно будет узнать, как модели учатся и решают конкретные задачи Авито — например, помогают пользователям писать тексты объявлений.<a href="https://habr.com/ru/companies/avito/articles/852958/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/avito/articles/852958/</a><a href="https://zhub.link/tags/LLM" class="mention hashtag" rel="tag">#LLM</a> <a href="https://zhub.link/tags/large_language_models" class="mention hashtag" rel="tag">#large_language_models</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="tag">#large_language_model</a> <a href="https://zhub.link/tags/nlp" class="mention hashtag" rel="tag">#nlp</a> <a href="https://zhub.link/tags/ai" class="mention hashtag" rel="tag">#ai</a> <a href="https://zhub.link/tags/avito" class="mention hashtag" rel="tag">#avito</a>

HabrБыстрее, выше, сильнее в распознавании речи: SpeechKit, SaluteSpeech или SpeechFlow?Меня зовут Екатерина, я IT-архитектор в ML-команде SimbirSoft , специализируюсь на темах по обработке естественного языка. Сегодня мы обсудим особенности решения задач распознавания речи. Проверим наши предположения на собственных аудиоданных, которые будем переводить из акустического сигнала в текст тремя передовыми коммерческими системами: Yandex SpeechKit , SaluteSpeech от Сбера и SpeechFlow от Bluepulse. Статья будет полезна тем, кто интересуется тенденциями развития машинного обучения или хочет присмотреться к возможностям и уязвимым местам существующих решений для их внедрения в бизнес-приложения. Погрузиться ⚡<a href="https://habr.com/ru/companies/simbirsoft/articles/833882/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/simbirsoft/articles/833882/</a><a href="https://zhub.link/tags/nlp_" class="mention hashtag" rel="tag">#nlp_</a>(natural_language_processing) <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B5%D1%81%D1%82%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%8F%D0%B7%D1%8B%D0%BA%D0%B0" class="mention hashtag" rel="tag">#обработка_естественного_языка</a> <a href="https://zhub.link/tags/stt" class="mention hashtag" rel="tag">#stt</a> <a href="https://zhub.link/tags/asr" class="mention hashtag" rel="tag">#asr</a> <a href="https://zhub.link/tags/yandex_speechkit" class="mention hashtag" rel="tag">#yandex_speechkit</a> <a href="https://zhub.link/tags/salutespeech" class="mention hashtag" rel="tag">#salutespeech</a> <a href="https://zhub.link/tags/hugging_face" class="mention hashtag" rel="tag">#hugging_face</a> <a href="https://zhub.link/tags/large_language_models" class="mention hashtag" rel="tag">#large_language_models</a> <a href="https://zhub.link/tags/nlp" class="mention hashtag" rel="tag">#nlp</a>

Habr[Перевод] Эволюция языковых моделей для генерации текста с высоты птичьего полётаВ этой статье я хотел бы поделиться своими заметками о том, как языковые модели развивались в последние десятилетия. Этот текст может послужить туториалом для новичков и помочь понять ключевые концепции языковых моделей на протяжении их истории. Стоит отметить, что я не углубляюсь в детали реализации и математические аспекты, однако уровень описания достаточен для правильного понимания эволюции LMs.<a href="https://habr.com/ru/articles/828968/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/828968/</a><a href="https://zhub.link/tags/%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="tag">#языковые_модели</a> <a href="https://zhub.link/tags/%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="tag">#большие_языковые_модели</a> <a href="https://zhub.link/tags/%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%B0" class="mention hashtag" rel="tag">#генерация_текста</a> <a href="https://zhub.link/tags/%D1%82%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B5%D1%80%D1%8B" class="mention hashtag" rel="tag">#трансформеры</a> <a href="https://zhub.link/tags/large_language_models" class="mention hashtag" rel="tag">#large_language_models</a> <a href="https://zhub.link/tags/text_generation" class="mention hashtag" rel="tag">#text_generation</a> <a href="https://zhub.link/tags/transformers" class="mention hashtag" rel="tag">#transformers</a> <a href="https://zhub.link/tags/evolution" class="mention hashtag" rel="tag">#evolution</a> <a href="https://zhub.link/tags/%D1%8D%D0%B2%D0%BE%D0%BB%D1%8E%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#эволюция</a>

HabrLLM field landscapeРади чего эта статья? Сфера генеративных моделей сегодня кипит, булькает и шипит — каждый день выходят новые статьи, новые бенчмарки, новая модель вырывается вперёд на Arena , открывается очередной AI-стартап… Только мы успеваем потрогать одну модель и сделать свои выводы, выходит другая, а Sam Altman в каждом интервью намекает, насколько GPT-5 будет умнее, лучше и круче, чем GPT-4. В общем, за сферой LLM сегодня очень трудно уследить. Но уследить хочется. Хочется сделать снэпшот, в котором отразить максимально актуальное состояние области на текущий момент, насколько это возможно , чтоб было от чего отталкиваться потом. На самом деле, это задача для серьёзного научного review, но лучшее враг хорошего, поэтому начну я со статьи на Хабре.<a href="https://habr.com/ru/articles/814665/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/814665/</a><a href="https://zhub.link/tags/llm" class="mention hashtag" rel="tag">#llm</a> <a href="https://zhub.link/tags/large_language_models" class="mention hashtag" rel="tag">#large_language_models</a> <a href="https://zhub.link/tags/%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="tag">#большие_языковые_модели</a> <a href="https://zhub.link/tags/nlp" class="mention hashtag" rel="tag">#nlp</a>

HabrИнтерактивный NPC на Unreal EngineВсем привет. Я хочу с вами поделиться результатами эксперимента по созданию интерактивного NPC на Unreal Engine 5 . Speech recognition , Text-to-speech , LLM модели, LipSync , MetaHuman и все это без использования сторонних сервисов . Видео работы и ссылка на демо версию прилагается. Если вам интересно увидеть результат и обсудить перспективы интерактивных NPC в игровой индустрии - добро пожаловать под кат.<a href="https://habr.com/ru/articles/807561/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/807561/</a><a href="https://zhub.link/tags/speech_recognition" class="mention hashtag" rel="tag">#speech_recognition</a> <a href="https://zhub.link/tags/text_to_speech" class="mention hashtag" rel="tag">#text_to_speech</a> <a href="https://zhub.link/tags/large_language_models" class="mention hashtag" rel="tag">#large_language_models</a> <a href="https://zhub.link/tags/unreal_engine_5" class="mention hashtag" rel="tag">#unreal_engine_5</a> <a href="https://zhub.link/tags/metahuman" class="mention hashtag" rel="tag">#metahuman</a> <a href="https://zhub.link/tags/gamedev" class="mention hashtag" rel="tag">#gamedev</a> <a href="https://zhub.link/tags/%D0%B8%D0%B3%D1%80%D1%8B" class="mention hashtag" rel="tag">#игры</a>

HabrМетод Binoculars обещает высокую точность обнаружения текста от больших языковых моделейChatGPT пишет не хуже человека, но можно ли обнаружить «машинность» в тексте? Хотя некоторым компаниям было бы выгоднее представить всё так, будто результат работы языковых моделей неотличим от человеческого, исследования в этом направлении активно ведутся. Авторы научной статьи «Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text» ( arXiv:2401.12070 ) утверждают, что их метод имеет низкий уровень ложноположительных срабатываний (0,01 %), правильно обнаруживает текст от языковых моделей в 90 % случаев и работает для нескольких семейств современных продуктов.<a href="https://habr.com/ru/articles/789466/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/789466/</a><a href="https://zhub.link/tags/LLM" class="mention hashtag" rel="tag">#LLM</a> <a href="https://zhub.link/tags/%D0%91%D0%AF%D0%9C" class="mention hashtag" rel="tag">#БЯМ</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="tag">#large_language_model</a> <a href="https://zhub.link/tags/%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B0%D1%8F_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D0%B0%D1%8F_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C" class="mention hashtag" rel="tag">#большая_языковая_модель</a> <a href="https://zhub.link/tags/large_language_models" class="mention hashtag" rel="tag">#large_language_models</a> <a href="https://zhub.link/tags/%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="tag">#большие_языковые_модели</a> <a href="https://zhub.link/tags/OpenAI" class="mention hashtag" rel="tag">#OpenAI</a> <a href="https://zhub.link/tags/Binoculars" class="mention hashtag" rel="tag">#Binoculars</a> <a href="https://zhub.link/tags/%D0%98%D0%98" class="mention hashtag" rel="tag">#ИИ</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82" class="mention hashtag" rel="tag">#искусственный_интеллект</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D0%BD%D0%B0%D1%80%D1%83%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%B0" class="mention hashtag" rel="tag">#обнаружение_машинного_текста</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D1%82%D0%B8%D1%81%D0%BF%D0%B0%D0%BC" class="mention hashtag" rel="tag">#антиспам</a> <a href="https://zhub.link/tags/GPTZero" class="mention hashtag" rel="tag">#GPTZero</a> <a href="https://zhub.link/tags/DetectGPT" class="mention hashtag" rel="tag">#DetectGPT</a> <a href="https://zhub.link/tags/Ghostbuster" class="mention hashtag" rel="tag">#Ghostbuster</a> <a href="https://zhub.link/tags/ChatGPT" class="mention hashtag" rel="tag">#ChatGPT</a> <a href="https://zhub.link/tags/GPT3" class="mention hashtag" rel="tag">#GPT3</a> <a href="https://zhub.link/tags/GPT4" class="mention hashtag" rel="tag">#GPT4</a> <a href="https://zhub.link/tags/Falcon" class="mention hashtag" rel="tag">#Falcon</a> <a href="https://zhub.link/tags/Falcon7B" class="mention hashtag" rel="tag">#Falcon7B</a> <a href="https://zhub.link/tags/Falcon7Binstruct" class="mention hashtag" rel="tag">#Falcon7Binstruct</a>

HabrGPT-like модель «впервые сделала научное открытие»: что, как и куда дальше?14го декабря в одном из самых авторитетных общенаучных журналов Nature была опубликована статья с, кажется, сенсационным заголовком: «ИИ-модели Google DeepMind превосходят математиков в решении нерешённых проблем». А в блогпосте дочки гугла и вовсе не постеснялся указать, что это — первые находки Больших Языковых Моделей (LLM) в открытых математических проблемах. Неужели правда? Или кликбейт — и это в Nature? А может мы и вправду достигли техносингулярности , где машины двигают прогресс? Что ж, давайте во всём разбираться! Ну давай разберёмся →<a href="https://habr.com/ru/companies/ods/articles/781138/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ods/articles/781138/</a><a href="https://zhub.link/tags/chatgpt" class="mention hashtag" rel="tag">#chatgpt</a> <a href="https://zhub.link/tags/deepmind" class="mention hashtag" rel="tag">#deepmind</a> <a href="https://zhub.link/tags/llm" class="mention hashtag" rel="tag">#llm</a> <a href="https://zhub.link/tags/large_language_model" class="mention hashtag" rel="tag">#large_language_model</a> <a href="https://zhub.link/tags/large_language_models" class="mention hashtag" rel="tag">#large_language_models</a> <a href="https://zhub.link/tags/openai" class="mention hashtag" rel="tag">#openai</a> <a href="https://zhub.link/tags/gpt" class="mention hashtag" rel="tag">#gpt</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#машинное_обучение</a> <a href="https://zhub.link/tags/%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#генерация</a> <a href="https://zhub.link/tags/natural_language_processing" class="mention hashtag" rel="tag">#natural_language_processing</a>

HabrИсследователи заставили ChatGPT процитировать данные, на которых он училсяНесколько похожая, но иная атака от @andrewmccalip Научная работа «Scalable Extraction of Training Data from (Production) Language Models» ( arXiv:2311.17035 ) анализирует извлечение данных датасетов обучения из различных языковых моделей. Исследователи проверили как локальные модели, так и коммерческое решение от OpenAI. С помощью атаки на выравнивание удалось заставить ChatGPT процитировать данные, на которых обучали GPT-3.5.<a href="https://habr.com/ru/articles/777970/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/777970/</a><a href="https://zhub.link/tags/ChatGPT" class="mention hashtag" rel="tag">#ChatGPT</a> <a href="https://zhub.link/tags/OpenAI" class="mention hashtag" rel="tag">#OpenAI</a> <a href="https://zhub.link/tags/GPT35" class="mention hashtag" rel="tag">#GPT35</a> <a href="https://zhub.link/tags/GPT35Turbo" class="mention hashtag" rel="tag">#GPT35Turbo</a> <a href="https://zhub.link/tags/GPT35_Turbo" class="mention hashtag" rel="tag">#GPT35_Turbo</a> <a href="https://zhub.link/tags/%D0%B2%D1%8B%D1%80%D0%B0%D0%B2%D0%BD%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%98%D0%98" class="mention hashtag" rel="tag">#выравнивание_ИИ</a> <a href="https://zhub.link/tags/alignment" class="mention hashtag" rel="tag">#alignment</a> <a href="https://zhub.link/tags/AI_alignment" class="mention hashtag" rel="tag">#AI_alignment</a> <a href="https://zhub.link/tags/%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8" class="mention hashtag" rel="tag">#большие_языковые_модели</a> <a href="https://zhub.link/tags/%D0%91%D0%AF%D0%9C" class="mention hashtag" rel="tag">#БЯМ</a> <a href="https://zhub.link/tags/large_language_models" class="mention hashtag" rel="tag">#large_language_models</a> <a href="https://zhub.link/tags/LLM" class="mention hashtag" rel="tag">#LLM</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D1%82%D0%B0%D1%81%D0%B5%D1%82%D1%8B_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="tag">#датасеты_обучения</a> <a href="https://zhub.link/tags/%D0%B8%D1%81%D1%81%D0%BB%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="tag">#исследования</a>

Recent searches

Search options

Administered by:

Server stats:

#large_language_models