Алгоритм ТГУ выявляет пользователей VK, подписанных на опасные группы
8 Июня 2020

Учёные ТГУ разработали алгоритм для выявления студентов и школьников, которые подписаны «ВКонтакте» на сообщества с потенциально опасным контентом: ненависть, насилие, экстремизм и другим. Они составили список из 3050 групп с подобным содержанием, а также проанализировали подписки российских школьников и студентов. Оказалось, что у 37% пользователей в возрасте 14-17 лет встречаются подписки на группы с потенциально опасным для психики содержанием, а в возрасте 18-23 года – у 42%.

Проект реализует команда психологов, социологов, историков и программистов ТГУ, руководитель – доцент факультета психологии Валерия Мацута. Исследование поддержано грантом РНФ (№ 19-78-10122 «Разработка алгоритма идентификации факторов риска безопасности пользователей социальных сетей на основе анализа контента и психологических характеристик его потребителей») до 2022 года, на его реализацию выделено 5 миллионов рублей.

Федеральный закон «О защите детей от информации, причиняющей вред их здоровью и развитию» выделяет информацию, запрещенную для распространения среди детей, и информацию, распространение которой ограничено среди детей определенного возраста. К первому виду (запрещенный контент) относятся сообщения, побуждающие к причинению вреда своему здоровью, употреблению одурманивающих веществ и подобным действиям. Ко второму виду (вредный контент) относятся изображения или описания жестокости, физического или психического насилия и другие. Также выделяют третью категорию – «преступный контент», размещение которого образует состав преступления и влечет уголовную ответственность.

– Доступ к обнаруженному запрещенному и преступному контенту оперативно блокируется, в отличие от вредного. Последнее – материалы ограниченного доступа, не являющиеся прямым нарушением норм права, но способные причинить вред пользователям, – рассказал участник проекта, зав. лабораторией компьютерных средств обучения Института дополнительного образования ТГУ Артем Фещенко. – Контроль за распространением и потреблением «вредного» контента подростками является актуальной задачей для специалистов по профилактике правонарушений и психологической безопасности в образовательных организациях.


Первичный поиск сообществ с «вредным» контентом осуществлялся при помощи системы мониторинга социальных медиа «Крибрум» с использованием лингвистических маркеров, например, «колумбайн», «наркотики», «депрессия», «одиночество», «боль», «ненависть» и других. Таким образом, учёные выявили 436 сообществ, затем при помощи метода «снежный ком» (найденные в сообществах администраторы и активисты, ведущие к другим потенциальным опасным группам) их число было расширено до 3050.

– Текстовых данных в сообществах содержится мало, а в качестве популярного контента можно отметить фотографии с изображением крови на теле или кровавых луж (прокусанные губы, кровь из носа и прочее), фотографии с оружием, фотографии с синяками, таблетки и сигареты, – отметил Артем Фещенко.

В результате анализа групп учёные сформулировали 12 тематических направлений, среди них «жесть» (кровь, избиение, окровавленные органы, эстетика безобразного в культуре), «национализм» (превосходство своей нации над другими, шовинизм, ксенофобия, фашизм), «оружие» (покупка и продажа оружия, описание характеристик, изображение пистолетов, револьверов, винтовок) и другие.

– Наиболее анонимными оказались администраторы сообщества категории «Скулшутинг». Из 45 сообществ только в одном удалось получить контактные данные организатора. В остальных сообщества либо заблокированы администрацией «ВКонтакте», либо закрыты для входа без приглашения. Тем не менее, даже по этой табуированной теме, относящейся по нормам российского законодательства к категориям «преступного» контента, удаётся найти большое количество потребителей и, возможно, распространителей контента среде активистов, – добавил Артем Фещенко.

Разработанный классификатор «вредного» контента можно использовать для обнаружения пользователей, которые предположительно нуждаются в психологической помощи. Для этого достаточно сравнить список подписок из профиля конкретного человека с со списком выявленных в ТГУ. Прототип диагностического инструмента для этого разработан участниками Университетского консорциума исследователей больших данных.

– Разработанный веб-сервис превосходит по широте и точности аналоги, например российскую систему мониторинга, которая в режиме реального времени проводит анализ опасных групп из специальной базы, – подчеркнул Артем Фещенко. – Так, она у одного пользователя нашла по 1 сообществу в 6 разных тематических категориях. Наш веб-сервис нашел у этого же пользователя 146 маркерных сообществ из 12 категорий и показал экстремально высокую долю вредного контента в общих подписках (17,4%, при норме – ниже 2%).

результаты анализа.jpg

В целом при помощи разработанного алгоритма учёные проанализировали около 60 000 пользователей «ВКонтакте» – это школьники 14-17 лет и группа в возрасте 18-23 года. Для возможности сравнения степени проявления интереса была рассчитана доля «вредного» контента. Индикатором интереса является подписка на 1 сообщество из любой категории, если же число подписок превышает 10% от общего числа, то человеку может понадобиться психологическая помощь. Эти значения можно использовать для выявления школьников и студентов из группы риска с неблагополучным психоэмоциональном состоянием.

– Сравнение данных показывает, что потребления потенциально «вредного» контента пользователями в возрасте 14-23 года является достаточно распространенным явлением, так как у 37% наблюдаемых людей в возрасте 14-17 лет встречаются подписки на сообщества с токсичным для психики содержанием. При этом девушки чаще интересуются «вредным» контентом, чем юноши, – рассказал Артем Фещенко. – В возрастной группе 18-23 года 42% пользователей подписаны на опасные сообщества, и уровень интереса у девушек снижается, а у юношей, наоборот, возрастает.

По словам учёных, кроме расчета общего уровня интереса ко всем темам «вредного» контента далее целесообразно проводить мониторинг пользователей по отдельным категориям.

Полученные результаты будут представлены на международной конференции «International Conference on Education and New Learning Technologies» в июле 2020 года.

Добавим, что прототип для выявления среди подписок пользователя сообществ с потенциально «вредным» контентом, разработанный в ТГУ, представлен на портале Университетского консорциума исследователей больших данных. Этот инструмент находится в открытом доступе и может быть использован школьниками и студентами для самоанализа, а также их родителями, педагогами и тьюторами, сотрудниками психологических служб образовательных организаций.