Исследования учёного ТГУ помогут отражать хакерские атаки на нейросети
23 Сентября 2021

С внедрением новых IT-технологий расширяется и спектр киберугроз. Одно из новых направлений хакерского воздействия – атаки на машинное обучение. Учёные всего мира сейчас работают над поиском эффективных, опережающих способов защиты. Молодой ученый Института прикладной математики и компьютерных наук Томского госуниверситета Антон Николаев исследует атаки на машинное обучение и механизмы их предотвращения. Результаты его работы послужат основой для разработки новых подходов к защите нейронных сетей от разного рода кибернападений.

– Эта задача сейчас крайне актуальна, поскольку методы машинного обучения всё активнее используются в самых разных областях – автономном вождении, распознавании лиц и голоса, биометрии, задачах классификации и обнаружения объектов, медицинской диагностике, – рассказывает аспирант ИПМКН ТГУ Антон Николаев (научный руководитель доцент ИПМКН Денис Колегов). – Соответственно, те или иные методы и алгоритмы, работающие в данных областях, подвержены всевозможным атакам. Сложность (как для атакующего, так и для защищающего) заключается в том, что обозначенные системы крайне сложны в своем устройстве, и защита, как и нападение, требуют сложного многоуровневого подхода на всех этапах взаимодействия системы с пользователем.

photo_2021-09-23_10-56-39.jpg

Как отмечает Антон, успешная атака на систему, работающую на базе машинного обучения и различных обучающихся алгоритмов, может привести к критичным последствиям не только для бизнеса, но и для жизни человека. Например, внедрение в системы автономного вождения – к тому, что системы распознавания знаков «перепутают» сигнал «СТОП» с ограничением скорости, не увидят запрещающий сигнал светофора или сам автомобиль сойдет с дороги на огромной скорости.

Успешная атака на биометрические системы и распознавание лиц может открыть доступ к секретным помещениям, данным или даже финансовым счетам в системах онлайн-банкинга. Все эти проблемы могут привести к серьезным репутационным рискам и финансовым потерям.

– Механизмы атак на подобные системы могут быть совершенно разными. Самые популярные включают генерацию некоторых небольших изменений в объекте (звуке, изображении, тексте) или, проще говоря, специального «шума», который ведет к тому, что система неправильно распознает или классифицирует данный объект, – объясняет Антон Николаев. – Например, определенного рода наклейка на дорожный знак может заставить систему распознавания дорожных знаков увидеть вместо одного знака другой. Или же специальный макияж на лице может заставить систему распознавания лиц увидеть в одном человеке другого.

В процессе машинного обучения возможно появление «зазоров» или неоднозначных ситуаций, благодаря им злоумышленники могут замещать одни результаты другими. Задача исследований аспиранта ИПМКН ТГУ – выявить наиболее эффективные методы приближения к границам таких «зазоров» или пограничных значений. Это знание позволит понять, как именно можно снизить число подобных «слабых звеньев» при атаках и в эксплуатации.

photo_2021-09-22_14-36-34.jpg

На основе результатов проведённых исследований молодой учёный создаст новые алгоритмы либо платформенное решение для защиты методов машинного обучения от внешнего влияния.

Добавим, что наряду с этим учёные ИПМКН разрабатывают подходы для обеспечения конфиденциальности данных, хранимых в облачных сервисах. В качестве инструмента повышения безопасности они используют специализированные шифры и реализуют схемы защиты, менее подверженные взлому, чем просто «прозрачное» шифрование.

Фото предоставлено Антоном Николаевым.

«Технологии безопасности» – одно из приоритетных направлений, активно развиваемых в Томском госуниверситете и включенных в заявку на участие в программе «Приоритет 2030». Этот стратегический проект направлен на разработку комплекса передовых цифровых и инженерных решений для обеспечения безопасности и антитеррористической деятельности государства, соответствующих приоритетам Стратегии научно-технологического развития и Стратегии национальной безопасности РФ.