Как оценить качество чат-бота? Бот с LLM vs бот на интентах по новой методологии usability-тестирования
Привет, Хабр! Я Юля, дизайнер диалоговых интерфейсов в Just AI. Мир захлестнула LLM-волна, и сфера чат-ботов оказалась в самом ее центре: все больше компаний хотят внедрять именно генеративные решения. В этой статье я расскажу о том, как мы провели эксперимент и сравнили старую версию бота и новую — с нейросетью под капотом. Одним из результатов эксперимента стала методика оценки качества, которой я также поделюсь в этой статье.