Бот и мат: ИИ стали применять в соцсетях для борьбы с оскорблениями

Российская соцсеть «Одноклассники» внедрила модель машинного обучения для временного ограничения пользователей, которые оставляют оскорбительные комментарии. Технология на основе искусственного интеллекта (ИИ) позволила сократить долю и количество негативных высказываний под постами, фотографиями и видео на 47%. Подробности о том, как ИИ помогает бороться с оскорблениями в соцсетях и какие перспективы есть у этой технологии, читайте в материале «Известий».

Ставка на интеллект

О внедрении модели машинного обучения для временного ограничения пользователей, которые оставляют оскорбительные комментарии, на днях сообщили в российской соцсети «Одноклассники» (ОК). Технология на основе ИИ, позволившая сократить долю и количество негативных высказываний на 47%, в автоматическом режиме выявляет токсичные комментарии и ограничивает авторов в написании новых комментариев на срок от одного часа до суток — в зависимости от частоты негативных высказываний.

По данным опроса, проведенного ОК, негативные посты злят более чем 40% пользователей. Модель на основе ИИ обучалась на 400 тыс. высказываний, которые несли недружелюбный характер и провоцировали негативные дискуссии.

Кроме того, новая технология позволила сократить время обработки жалоб на токсичные посты сразу в три раза. Как отметил директор по продукту ОК Александр Москвичев, треть всех жалоб на платформе была связана с негативными комментариями, а 80% обращений в службу поддержки сегодня касаются токсичности.

— Мы обучали эту модель больше года и продолжим совершенствовать ее в дальнейшем, — подчеркнул Москвичев. — Вместе с другими продуктовыми решениями, которые мы внедрили за последние два года, ограничение токсичных комментаторов позволит соцсети не только быстрее вернуть на платформу редко посещающих ОК пользователей, но и привлечь новых.

Цифровая модерация

На сегодняшний день ИИ прекрасно умеет читать и понимать написанный текст, говорит в беседе с «Известиями» руководитель Лаборатории стратегического развития продуктов кибербезопасности Аналитического центра кибербезопасности «Газинформсервис» Дмитрий Овчинников. Кроме того, искусственный интеллект способен очень хорошо понимать текст с точки зрения смысловой нагрузки, контекста слов и даже скрытого смысла.

— Поэтому он отлично подходит как система детектирования токсичного поведения пользователей, когда происходит оскорбление или демонстрируется деструктивное поведение, — рассказывает эксперт. — Кроме того, ИИ отлично распознает картинки и может определять фото с эротическим или оскорбительным контентом.

Директор направления Data Fusion Лиги цифровой экономики Александр Кобозев дополняет, что искусственный интеллект способен автоматически анализировать и распознавать оскорбительные, грубые или неподобающие комментарии с помощью алгоритмов машинного обучения и обработки естественного языка. Это позволяет ИИ оперативно выявлять токсичный контент и принимать меры для предотвращения последствий: удалять сообщения или временно блокировать пользователей.

Первые системы автоматического модерирования использовались в онлайн-играх еще достаточно давно, отмечает Дмитрий Овчинников. Впрочем, тогда это был еще не ИИ, а просто система определения нецензурных слов. Местами она работала очень хорошо, а местами давала множество ложных срабатываний. Со временем такие системы дообучили, а когда появились доступные модели ИИ, стали использовать их.

— Сейчас подобные ИИ используются в некоторых иностранных социальных сетях, — говорит специалист. — Они могут распознавать деструктивное поведение и проводить премодерацию, автоматически расставлять теги и выполнять множество другой работы, которую легко автоматизировать.

Впрочем, по словам Александра Кобозева, искусственный интеллект для модерации контента уже используют и российские IT-компании: помимо ОК, это делают VK и «Яндекс». В частности, VK применяет ИИ для борьбы с травлей по национальному признаку, оскорблениями на почве религиозной принадлежности и угрозами. По предварительным итогам использование искусственного интеллекта снизило количество таких сообщений на 51%.

Аспекты внедрения

Самое главное достоинство систем модерации на основе ИИ заключается в том, что они работают 24/7, не знают отдыха и не теряют концентрации в процессе работы, говорит Александр Овчинников. Кроме того, такие системы не подвержены эмоциям и при правильной, не предвзятой настройке со стороны человека, они будут выносить честный вердикт вне зависимости от того, кто проявляет токсичное поведение.

— К плюсам подобных систем можно отнести скорость и масштабируемость: ИИ обрабатывает огромные объемы данных в реальном времени, что позволяет быстро реагировать на токсичный контент, — соглашается в беседе с «Известиями» Александр Кобозев. — В таких условиях нагрузка на модераторов снижается, а автоматизация рутинных задач освобождает время для решения более сложных случаев.

Впрочем, у модерации при помощи ИИ есть и недостатки. Одним из них Дмитрий Овчинников называет тот момент, что оператор системы при желании сможет управлять общественным мнением и даже оказывать влияние на его формирование. Если оставить оператора ИИ без надзора, он может натворить много дел и испортить репутацию социальной сети.

К другим минусам Александр Кобозев относит ошибки распознавания. Например, ИИ может неправильно интерпретировать сарказм, иронию или культурные особенности, что приводит к ложным срабатываниям. Еще одна проблема — отсутствие глубокого понимания контекста. ИИ может пропустить скрытую токсичность или, наоборот, заблокировать безобидный контент.

— В перспективе искусственный интеллект с большой долей вероятности в 99% случаев научится верно обнаруживать негативный контент в соцсетях, — считает Дмитрий Овчинников. — Однако ИИ все равно останется машиной, а потому всегда будет шанс, что он может неверно распознать, что и с какими целями написал тот или иной пользователь.

Будущее модерации

Несмотря на все достоинства модерации при помощи систем на основе ИИ, возможность человеческого модерирования необходимо сохранить, считает Дмитрий Овчинников. Дело в том, что, как показывает практика, существуют способы взлома больших языковых моделей, при которых злоумышленник может заставить сделать ИИ то, что последнему запрещено оператором.

— В будущем в соцсетях также появятся обходы подобных цифровых модераторов — и вот тут как раз и будет нужна человеческая модерация, — говорит собеседник «Известий».

С этим согласен и Александр Кобозев: как отмечает эксперт, несмотря на значительные успехи, ИИ вряд ли полностью заменит человеческую модерацию. Только люди способны понять сложный контекст и культурные нюансы, а также принимать решения в спорных ситуациях. Поэтому оптимальным вариантом можно считать комбинированный подход: ИИ выполняет первичную фильтрацию, а люди занимаются более сложными случаями.

Говоря о том, как еще искусственный интеллект может применяться в соцсетях, эксперт напоминает, что, помимо борьбы с токсичностью, ИИ помогает персонализировать контент: алгоритмы анализируют предпочтения пользователей, а затем предлагают релевантные посты и рекламу. Чтобы оценить реакцию аудитории на продукты или события, компании также иногда подключают искусственный интеллект к анализу эмоционального окраса сообщений.

— Другое важное направление — автоматизация сервиса: чат-боты на основе ИИ отвечают на вопросы пользователей, что повышает качество и скорость обслуживания, — говорит Александр Кобозев. — Не менее важно, что искусственный интеллект помогает выявлять и ограничивать распространение фейковых новостей и дезинформации.

Дмитрий Овчинников дополняет: спектр того, что может делать ИИ, очень велик: это поддержка пользователей, сбор аналитики, генерация контента, автоматизация публикаций, очистка данных и их предобработка перед публикацией, создание цифровых персонажей и борьба с дипфейками. Перспектив очень много — и потенциал использования ИИ в соцсетях достаточно высок, особенно если они начнут объединяться с торговыми площадками и другими сервисами, заключает эксперт.