Как простые NLP модели видят слова? | NLP | Пишем свой TF-IDF
Когда начинаешь погружаться в сферу NLP , сразу задумываешься, как модели представляют себе наш текст/наши слова? Ведь не логично бы звучало, если модель обрабатывала наши слова, как обычную последовательность букв. Это было бы не удобно и не понятно (как проводить операции со словами?) . Есть разные методы преобразования слов. Один из самых известных для не самых сложных моделей: TF-IDF .