Facebook использует больше ИИ для обнаружения ненавистнических высказываний

В Q1 2020 года 9,6 млн единиц контента, размещенного в Facebook, были удалены за нарушение политики компании по разжиганию ненависти, что стало "крупнейшим выигрышем за весь период времени", сообщил сегодня журналистам Facebook CTO Майк Шропфер. Для контекста еще четыре года назад Facebook не удалил никакого контента с ИИ. Данные получены из отчета Facebook "Отчет об обеспечении соблюдения стандартов сообщества" (CSER), в котором говорится, что AI обнаружила 88,8% контента ненависти, удалённого Facebook в Q1 2020 года, по сравнению с 80,2% в предыдущем квартале. Schroepfer связывает рост с достижениями в языковых моделях, таких как XLM. Еще один потенциальный фактор: в результате COVID-19 Facebook также отправил некоторых из своих человеческих модераторов домой, хотя Шрупфер сказал, что модераторы Facebook теперь могут делать какую-то работу из дома. “Я не наивен; ИИ - это не ответ на каждую проблему ", - сказал Шропфер. "Я думаю, что люди будут в петле на неопределенное будущее. Я думаю, что эти проблемы - принципиально человеческие проблемы о жизни и общении, и поэтому мы хотим, чтобы люди контролировали и принимали окончательные решения, особенно когда проблемы нюансы. Но то, что мы можем сделать с AI, Вы знаете, берете общие задачи, миллиард задач масштаба, тяжелая работа." Сегодня Facebook AI Research также запустила набор данных Hateful Memes из 10 000 значимых мемов, снятых с общественных групп Facebook в США. The Hateful Memes предложит $100 000 в качестве призов для сетей с высокой производительностью. Ненавистные мемы в NeurIPS следуют за Facebook Deepfake Detection Challenge, который состоялся в NeurIPS в 2019 году.

Набор данных Hateful Memes предназначен для оценки эффективности моделей для удаления ненавистнических высказываний и для доработки и тестирования моделей многомодального обучения, которые принимают данные из различных форм средств массовой информации для измерения многомодального понимания и рассуждений. Документ включает в себя документацию о производительности ряда BERT-производных одногодичных и мультимодальных моделей. Наиболее точная AI-управляемая многомодальная модель - Visual BERT COCO - достигает 64,7% точности, в то время как человек продемонстрировал 85% точности на наборе данных, что отражает сложность задачи.

Составленные внешней командой аннотаторов (не включая модераторов Facebook), наиболее распространенные мемы в наборе данных нацелены на расу, этническую принадлежность или пол. Мемы, отнесенные к категории сравнения людей с животными, ссылки на негативные стереотипы или использование насмешливых ненавистнических высказываний - которые сообщество Facebook считает одной из форм ненавистнических высказываний - также распространены в наборе данных. Сегодня Facebook также поделился дополнительной информацией о том, как она использует ИИ для борьбы с COVID-19 дезинформацией и остановки торговцев, мошеннических на платформе. В течение многих лет разрабатываемая в Facebook, Sim→ Net представляет собой сверточную нейронную сеть для распознавания дубликатов контента, и она используется для нанесения предупреждающих меток на контент, который считается недостоверным десятками независимых организаций по проверке фактов по всему миру. В апреле на 50 млн должностей были нанесены предупреждающие ярлыки. Отрадно, что пользователи Facebook нажимают на контент с предупреждающими метками только 5% времени, в среднем. Компьютерное зрение также используется для автоматического обнаружения и отклонения объявлений для наборов для тестирования COVID-19, медицинских масок лица и других предметов, которые Facebook не разрешает на своей платформе.

Многомодальное изучение Эксперты в области машинного обучения, такие как глава Google AI Джефф Дин, назвали прогресс по модельным моделям трендом 2020 года. Действительно, многомодальное обучение использовалось для таких вещей, как автоматическое комментирование видео и изображений подписей. Многомодальные системы типа CLEVRER от MIT-IBM Watson Lab также применяют NLP и компьютерное зрение для улучшения способности систем ИИ проводить точные визуальные рассуждения. Из набора данных исключены мемы, призывающие к насилию, членовредительству или наготе или поощряющие терроризм или торговлю людьми. Мемы были сделаны с помощью пользовательского инструмента и текста, соскабливаемого с изображений мемов в публичных группах Facebook. Чтобы преодолеть вопросы лицензирования, общие для мемов, для замены фонового изображения и создания новых мемов используются фотографии Getty Images API. Аннотаторы должны были убедиться, что каждый новый мем сохраняет смысл и замысел оригинала. Набор данных Hateful Meme знакомится с тем, что Facebook называет добротными конфессиями, или мемами, смысл которых меняется на основе изменения изображений, которые появляются за текстом мема.

"Ненавистнические высказывания являются важной общественной проблемой, и ее решение требует улучшения возможностей современных систем машинного обучения. Обнаружение ненавистнических высказываний в мемах требует рассуждений о тонких подсказках, и задача была построена так, что одногодичным моделям трудно, путем включения "доброкачественных конфессий", которые переворачивают метку мультимодального ненавистного мема ", - заявили соавторы Facebook AI Research в статье, подробно описывающей набор данных Hateful Memes, который делился с VentureBeat. Эволюция визуальных рассуждений, подобных тому, которого добивается набор данных и вызов Hateful Meme, может помочь ИИ лучше обнаружить ненавистнические высказывания и определить, нарушают ли мемы политику Facebook. Точные многомодальные системы могут также означать, что Facebook избегает участия в контрпроигрывании, когда модераторы человеческого или ИИ непреднамеренно цензурируют контент от активистов, выступающих против ненавистнических высказываний, а не реальных ненавистнических высказываний.

Удаление ненавистнических высказываний из интернета - это правильно, но быстрое обнаружение ненавистнических высказываний также отвечает экономическим интересам Facebook. После того, как регуляторы ЕС потратили годы на то, чтобы призвать Facebook принять более жесткие меры, немецкие законодатели приняли закон, обязывающий компании социальных сетей с более чем 1 млн пользователей быстро удалять ненавистнические высказывания или грозить штрафами до €50 млн. Правительства призвали Facebook умерить контент, чтобы решить такие проблемы, как пропаганда терроризма и вмешательство в выборы, особенно после негативной реакции от скандала в Cambridge Analytica, а Facebook и его глава Марк Цукерберг пообещали больше человеческой и ИИ умеренности.