Добро пожаловать обратно, начинающие кибервоины!
Мы привыкли относиться к ИИ-помощникам, таким как ChatGPT и Copilot, как к знающим партнёрам. Мы задаём вопросы, и они дают ответы, часто с обнадеживающим авторитетом. Мы доверяем им. Но что, если это самое доверие — лазейка для злоумышленников?
Это не теоретическая угроза. На конференции по безопасности DEF CON инженер по наступательной безопасности Тобиас Диль выступил с ошеломляющей презентацией, рассказав, как он может «отравить колодцы» ИИ. Он продемонстрировал, что злоумышленникам не нужно взламывать сложные системы для распространения вредоносного кода и дезинформации; им достаточно лишь воспользоваться слепым доверием ИИ к интернету.
Давайте проанализируем работу Тобиаса Диля и посмотрим, какие уроки мы можем из нее извлечь.
Это критический недостаток. Хотя алгоритм ранжирования поиска Bing совершенствовался более десяти лет, он не является безупречным и может быть подвержен манипуляциям. Злоумышленник, контролирующий топ результатов поиска по определённому запросу, может фактически контролировать то, что Copilot сообщает своим пользователям. Этот простой прямой канал связи между поисковой системой и интеллектом ИИ лежит в основе атаки.
Используя опыт, полученный в ходе мероприятия Microsoft Zero Day Quest, мы видим, насколько легко манипулировать нашим доверием. Zero Day Quest приглашает исследователей безопасности обнаруживать и сообщать о серьёзных уязвимостях в продуктах Microsoft. Предвидя распространённый вопрос пользователей: «Где можно посмотреть Zero Day Quest?», Тобиас начал готовить поверхность для атаки. Он создал веб-сайт https://www.watchzerodayquest.com , содержащий следующий контент:
Как видите, страница похожа на типичный раздел FAQ, но содержит вредоносную команду PowerShell. Спустя четыре недели Тобиасу удалось вывести сайт в топ этого события.
Следовательно, пользователь может получить следующий ответ о Zero Day Quest от Copilot:
На момент написания статьи Copilot не отреагировал подобным образом.
Но есть и другие помощники на основе искусственного интеллекта.
И как вы можете видеть, некоторые из них легко предоставляют опасные инструкции по установке маяков управления и контроля (C2).
Мы привыкли относиться к ИИ-помощникам, таким как ChatGPT и Copilot, как к знающим партнёрам. Мы задаём вопросы, и они дают ответы, часто с обнадеживающим авторитетом. Мы доверяем им. Но что, если это самое доверие — лазейка для злоумышленников?
Это не теоретическая угроза. На конференции по безопасности DEF CON инженер по наступательной безопасности Тобиас Диль выступил с ошеломляющей презентацией, рассказав, как он может «отравить колодцы» ИИ. Он продемонстрировал, что злоумышленникам не нужно взламывать сложные системы для распространения вредоносного кода и дезинформации; им достаточно лишь воспользоваться слепым доверием ИИ к интернету.
Давайте проанализируем работу Тобиаса Диля и посмотрим, какие уроки мы можем из нее извлечь.
Шаг №1: Фундаментальный недостаток ИИ
Суть уязвимости, обнаруженной Тобиасом, очень проста. Когда пользователь задаёт Microsoft Copilot вопрос по теме, не относящейся к исходным данным для обучения, система не просто угадывает. Она выполняет поиск в Bing и использует результат с самым высоким рейтингом как «источник истины». Затем она обрабатывает этот контент и предоставляет его пользователю как окончательный ответ.
Это критический недостаток. Хотя алгоритм ранжирования поиска Bing совершенствовался более десяти лет, он не является безупречным и может быть подвержен манипуляциям. Злоумышленник, контролирующий топ результатов поиска по определённому запросу, может фактически контролировать то, что Copilot сообщает своим пользователям. Этот простой прямой канал связи между поисковой системой и интеллектом ИИ лежит в основе атаки.
Шаг №2: Проверка концепции
Тобиас использовал концепцию, которую он называет «пустотой данных» (data void), описывая её как «поисковый вакуум». Пробел данных возникает, когда поисковый запрос существует, но по нему мало или совсем нет релевантного и актуального контента. В таком вакууме злоумышленнику легче создавать и ранжировать собственный контент. Более того, пустоты данных могут быть созданы намеренно.Используя опыт, полученный в ходе мероприятия Microsoft Zero Day Quest, мы видим, насколько легко манипулировать нашим доверием. Zero Day Quest приглашает исследователей безопасности обнаруживать и сообщать о серьёзных уязвимостях в продуктах Microsoft. Предвидя распространённый вопрос пользователей: «Где можно посмотреть Zero Day Quest?», Тобиас начал готовить поверхность для атаки. Он создал веб-сайт https://www.watchzerodayquest.com , содержащий следующий контент:
Как видите, страница похожа на типичный раздел FAQ, но содержит вредоносную команду PowerShell. Спустя четыре недели Тобиасу удалось вывести сайт в топ этого события.
Следовательно, пользователь может получить следующий ответ о Zero Day Quest от Copilot:
На момент написания статьи Copilot не отреагировал подобным образом.
Но есть и другие помощники на основе искусственного интеллекта.
И как вы можете видеть, некоторые из них легко предоставляют опасные инструкции по установке маяков управления и контроля (C2).
