Русский Маскарад — применение NER для защиты персональных данных

Всем привет! На связи команда хакатонщиков “Старые Бауманцы” и я - Саша Зазнобин. Сегодня хочу поговорить с вами о такой малоприятной теме как защита персональных данных. Если вы точно знаете, чего хотите от этой статьи - листайте в конец, там метрики разных моделей в табличном виде. С остальными продолжим вдумчивую беседу по порядку. Мировой ландшафт в этой части воистину впечатляет тут и 152-ФЗ в России, и более 20 разных законов действующих по своему в разных штатах США и Генеральный регламент ЕС о защите персональных данных. Единственное разумное объяснение всего это регуляторного фестиваля для меня - это то, что рептилойды-инопланетяне, тайно контролирующие землю, испугались рывка технологического прогресса в искусственном интеллекте и через эти законы пытаются затормозить прогресс. Все остальные объяснения звучат просто несостоятельно. Впрочем вернемся к основной теме. Итак, сегодня мы будем соблюдать закон о персональных данных (иначе говоря побеждать заговор рептилойдов) через маскировку персональных данных.То есть мы их будем выявлять и маскировать - а потом обрабатывать данные так как нашей душеньке угодно. Для этого существует отдельный класс задач в data science: Named Entity Recognition сокращенно (NER) — технология обработки естественного языка, направленная на выделение определенных сущностей в тексте, таких как имена людей, географические объекты, названия организаций, даты, номера телефонов и другие категории. Основная цель в рамках поставленной задачи NER для маскирования персональных данных — автоматически распознавать и скрывать (маскировать) чувствительную информацию в текстах.

https://habr.com/ru/articles/877166/

RAG в действии: актуальные инструменты и возможности их применения

Задумывались ли вы, кто на самом деле находится по ту сторону телефонной линии или чата? В современном мире за приятным голосом неизвестного абонента или ненавязчивым текстовым сообщением часто скрывается вовсе не человек, а искусственный интеллект. Этот робот обучен выполнять задачи маркетинга и клиентской поддержки. Но когда мы пишем негативный фидбек или выражаем свои пожелания, то надеемся если не на изменения, то хотя бы на эмоциональную реакцию. Но ИИ такой ответ — не по силам.

https://habr.com/ru/companies/raft/articles/872430/

NER для начинающих: Простое объяснение с примерами на SpaCy

В этой статье мы подробно рассмотрим распознавание именованных сущностей (Named Entity Recognition, NER) и его применение на практике. Простым и доступным языком объясним , как работает NER, приведем примеры кода с использованием библиотеки SpaCy и покажем, как обучать модели для распознавания именованных сущностей. Эта статья поможет вам быстро освоить основы и начать применять NER в своих проектах!

https://habr.com/ru/articles/826820/

Real AI Семантический Анализатор и решение задачи по извлечению поручений из распорядительных документов

Привет Хабр! Чуть больше года прошло с момента последней публикации , в которой описано одно из применений технологии анализа текста, основанной на разработанном нами «свойство-ориентированном подходе» . За это время мы провели работу по переходу от технологии к продукту - семантическому анализатору Real AI SA , решающему реальную задачу бизнеса, и сделали следующее: провели около двадцати проблемных интервью, создали юридическое лицо, получили грант от Фонда Содействия Инновациям, разработали и зарегистрировали ПО для извлечения поручений, начали пилотирование решения. Подробнее о практической задаче – автоматическом заполнении карточек поручений в системе электронного документооборота путем анализа распорядительных документов, а также о нашем подходе к ее решению хотелось бы рассказать в этой статье.

https://habr.com/ru/articles/824668/

YandexGPT для распознавания навыков в резюме без смс и разметки данных

Салют! Меня зовут Григорий, и я главный по спецпроектам в команде AllSee. На дворе 2024 год — год ИИ и больших языковых моделей, многие из нас уже приручили новые технологии и вовсю используют их для всего подряд: написания кода, решения рабочих и учебных задач, борьбы с одиночеством. Давайте и мы попробуем применить LLM для решения одной интересной задачки из сферы HR. Сегодня в меню автоматическое определение навыков кандидата по тексту резюме. Поехали? Поехали!

https://habr.com/ru/articles/823035/

#yandexgpt #машинное+обучение #namedentity_recognition #ner #python #api #nlp #nlp_обработка_текста #yandex_gpt #nlp_(natural_language_processing)

[Перевод] Распознавание именованных сущностей: механизм, методики, сценарии использования и реализация

Естественные языки сложны. А когда на горизонте появляется контекст, они становятся ещё сложнее. Возьмём для примера фамилию Линкольн . Некоторые сразу подумают о шестнадцатом президенте США, выдающейся исторической фигуре. Однако для других это производитель автомобилей с тем же названием. Одно простое слово имеет разные значения. Мы, люди, без проблем различаем значения и категории. Это свидетельствует о нашем интуитивном понимании окружающего мира. Но когда дело касается компьютеров, эта, казалось бы, простая задача превращается в неоднозначную проблему. Подобные трудности подчёркивают необходимость надёжного распознавания именованных сущностей (named entity recognition, NER) — механизма, при помощи которого мы учим машины понимать различные лингвистические нюансы. В этой статье мы расскажем о том, что такое NER, о его принципах работы и о том, как оно используется в реальной жизни. Также в ней мы прольём свет на различные методики NER и способы реализации модели NER.

https://habr.com/ru/articles/776774/

Угрозы под контролем: применение ML для автоматического анализа отчётов

Привет, Хабр! Меня зовут Валерия Чулкова, я продакт-менеджер R-Vision TIP. Сегодня совместно с Анастасией Перковой и Сергеем Ивановым мы расскажем про сервис для распознавания отчетов о киберугрозах, созданный командой экспертов в области машинного обучения R-Vision. В этой статье мы объединили усилия ML-разработчика и двух ML-аналитиков.

https://habr.com/ru/companies/rvision/articles/813163/