У Gemini обнаружили уязвимость с подменой символов, но Google решила ничего не делать

Google решила не закрывать обнаруженную исследователями в области кибербезопасности уязвимость, которая позволяет гипотетическим злоумышленникам осуществлять атаки на помощника с искусственным интеллектом Gemini с использованием подмены символов. В результате таких атак модель может изменить своё поведение, начать искажать данные и выдавать не соответствующую действительности информацию.

Фитнес-браслет HUAWEI Band 10: настоящий металл

Почему ИИ никак не сесть на безматричную диету

Пять причин полюбить HONOR Magic7 Pro

Пять причин полюбить HONOR Pad V9

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Пять причин полюбить HONOR X8c

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Источник изображения: blog.google

При атаке с подменой ASCII в запросы добавляются спецсимволы из блока тегов Unicode — они невидимы для пользователя, но считываются машинами, в том числе большими языковыми моделями. Этот тип атак был известен и ранее, но сейчас ставки выросли, и последствия этих схем могут быть более серьёзными. Ранее для их реализации требовалось манипулировать действиями пользователя и заставлять потенциальную жертву вручную вставлять с интерфейс чат-бота специально подготовленные запросы. Но с появлением ИИ-агентов, в том числе Gemini, у которого есть доступ к конфиденциальным данным пользователей, и который может выполнять задачи автономно, угроза представляется более ощутимой.

Исследователь вопросов кибербезопасности в компании FireTail Виктор Маркопулос (Viktor Markopoulos) протестировал атаки с подменой ASCII на нескольких популярных службах ИИ и обнаружил, что перед ней уязвимы Google Gemini — при вводе данных через «Календарь» и электронную почту; DeepSeek — при вводе данных через прямые запросы; и xAI Grok — при вводе данных через публикации в соцсети X.

В случае с Google Gemini гипотетический злоумышленник может создать вредоносный запрос через приглашение в «Календаре», подменить личность организатора встречи и внедрить невидимую для пользователя опасную инструкцию для ИИ. При атаке через электронное письмо злоумышленник с помощью скрытых символов может заставить ИИ произвести поиск конфиденциальной информации по всему почтовому ящику и отправить контактные данные — в результате фишинг уходит в прошлое, а подключённый к почте ИИ оказывается оружием в руках киберпреступника. Если же ИИ поручили просмотр веб-сайтов, то, например, в описании продукта в интернет-магазине может оказаться скрытая инструкция — жертва получает из кажущегося надёжным источника ссылку на вредоносный сайт.

Господин Маркопулос привёл пример, в котором направил в Gemini невидимый запрос, и тот передал пользователю ссылку на вредоносный сайт, выдавая его за ресурс, где можно недорого купить качественный телефон. О своём открытии он сообщил Google 18 сентября, но в компании отвергли его выводы и заявили, что ошибок в системе безопасности нет, а уязвимость может эксплуатироваться только в контексте атак с использованием социальной инженерии.

Источник