Поскольку на рынок выходят браузерные агенты ИИ, обещающие помогать людям совершать покупки, нанимать сотрудников или помогать с другими онлайн-задачами, специалисты по безопасности предупреждают, что собираемая этими программами из Интернета информация может быть подменена и искажена, причем никто об этом даже не догадается.
В новом исследовании , эксклюзивно предоставленном CyberScoop, компания SPLX, занимающаяся кибербезопасностью в сфере искусственного интеллекта, выявила уязвимости в ChatGPT Atlas, недавно выпущенном браузерном агенте OpenAI, а также в ChatGPT и Perplexity AI. Простое изменение заголовка пользовательского агента позволяет веб-сайту отправлять скрытую информацию в базовый LLM, которая влияет на его поведение и принятие решений.
Инженер по искусственному интеллекту SPLX Иван Влахов рассказал CyberScoop, что его команда создала веб-сайт, способный отображать разный контент в зависимости от посетителя. Для пользователя-человека сайт выглядел как стандартная профессиональная биография продуктового дизайнера.
Так выглядит веб-сайт Зерфины Квортан, вымышленного дизайнера, созданного исследователями SPLX, при обнаружении посетителя-человека. (Источник: SPLX)
Однако если веб-сайт обнаружит робота на основе искусственного интеллекта, например, такого, который используется в Atlas, GPT или Perplexity, отдельный сервер предоставит альтернативную, скрытую версию, наполненную негативными комментариями о дизайнере.
«Очень легко подавать разный контент на основе заголовка», — сказал Влахов.
Вредоносная замаскированная версия веб-сайта Зерфины Квортан, доступная только роботам на базе искусственного интеллекта. (Источник: SPLX)
Злонамеренные хакеры могут использовать эту технику для запуска клеветнических кампаний против отдельных лиц или организаций, зная, что агенты браузеров, ищущие те же имена или термины, обнаружат поддельную информацию. В то же время мошенники могут показывать агентам поддельные акции или скидки, показывая им совершенно иной набор цен или товаров, чем тот, который видят реальные посетители на легитимном сайте.
Влахов отметил, что мошенники часто использовали подобные SEO-схемы в онлайн-рекламе до того, как Google начал блокировать рекламу, основанную на подобных манипуляциях. Однако он заявил, что условия предоставления услуг OpenAI, по всей видимости, не решают эту проблему по существу.
«У OpenAI и ChatGPT нет чётких условий обслуживания; [они] не запрещают подобное поведение на сайтах напрямую», — сказал он. «Например, Google… заблокирует вашу страницу, и она больше не будет отображаться в результатах поиска. Первым шагом для OpenAI было бы внедрение методов проверки и фактическая блокировка злоумышленников».
В другом тесте команда исследовала, как подобные уязвимости можно использовать для манипулирования онлайн-рекрутингом. Они создали вымышленное объявление о вакансии с определёнными критериями оценки, а также онлайн-резюме и профили пяти кандидатов, каждое из которых размещалось на отдельной странице. Все резюме «выглядели реалистично и хорошо структурированы, содержали правдоподобные истории работы и описания навыков».
Одна из фейковых кандидаток, «Натали Картер», имела самые слабые характеристики, согласно данным её сайта, доступным для просмотра человеком, и получала самую низкую оценку от моделей искусственного интеллекта. Однако, если веб-страница Натали обнаруживала присутствие робота искусственного интеллекта, ей отправлялась другая страница с завышенными данными о квалификации, должностях и достижениях.
В результате Натали успешно прошла процедуру проверки ИИ, получив наивысший балл и опередив следующего кандидата на 10 баллов.
Влахов отметил, что одна из ироний этого недостатка заключается в том, что если пользователь каким-то образом заметит, что LLM обрабатывает различную информацию на сервере, он может просто предположить, что это пример галлюцинации — еще одна известная проблема с моделями ИИ.
«Даже если чат-бот говорит что-то плохое о человеке или публикует оскорбительный или непристойный контент, которого там быть не должно, — даже когда пользователь нажимает на ссылку, — он всё равно открывает обычный сайт, где всё в порядке», — сказал он. «Это похоже на галлюцинацию».
Компания OpenAI во вторник не сразу ответила на вопросы об исследовании. Представители Влахова и SPLX сообщили CyberScoop, что OpenAI не отреагировала на их предыдущие попытки связаться с компанией по поводу аналогичного исследования.
Другие исследователи и руководители технических компаний выразили дополнительную обеспокоенность в отношении Atlas.
На этой неделе компания LayerX заявила, что обнаружила способ использовать протоколы аутентификации ChatGPT для внедрения скрытых инструкций в память LLM, что в некоторых случаях даже позволяет выполнять удаленный код.
«Уязвимость затрагивает пользователей ChatGPT в любом браузере, но особенно опасна для пользователей нового агентского браузера OpenAI: ChatGPT Atlas», — написал в понедельник Ор Эшед, соучредитель и генеральный директор компании, специализирующейся на безопасности. «LayerX обнаружила, что Atlas в настоящее время не включает в себя каких-либо значимых антифишинговых защит, а это означает, что пользователи этого браузера на 90% более уязвимы для фишинговых атак, чем пользователи традиционных браузеров, таких как Chrome или Edge».
Стоит отметить некоторые нюансы: пользователь должен быть уже авторизован в ChatGPT и иметь в браузере действительный файл cookie или токен аутентификации. Кроме того, для срабатывания эксплойта пользователь должен сначала перейти по вредоносной ссылке.
Иллюстрация атаки на повреждение памяти, затрагивающей ChatGPT и Atlas, обнаруженной исследователями LayerX. (Источник: LayerX)
Корпоративные пользователи также сообщали о некоторых сбоях. Пит Джонсон, технический директор MongoDB, рассказал, что после установки браузера Atlas ему стало «интересно», как он хранит кэшированные данные. Он быстро обнаружил ряд проблем.
Он написал , что, хотя «на Mac это стандартная практика для браузера хранить токены oAuth в базе данных SQLite, я обнаружил, что, по-видимому, это нестандартная практика, так как по умолчанию у установленного ChatGPT Atlas есть разрешение 644 на этот файл (что делает его доступным для любого процесса в вашей системе)». Кроме того, в отличие от других стандартных браузеров, Atlas «не использует связку ключей для шифрования токенов oAuth в этой базе данных SQLite (что означает, что эти токены можно запрашивать и затем использовать)».
Джонсон, назвавший себя «едва ли экспертом по безопасности», рассказал, что его скрипт позже был проверен специалистом по безопасности MongoDB. Он добавил, что другие пользователи с тех пор сообщали о той же уязвимости, а некоторые получили зашифрованные токены OAuth.
В то же время, пока специалисты по безопасности изучают браузерные агенты ИИ, глобальные организации по стандартизации отслеживают тревожные сигналы о том, что многие американские компании «лунатики» идут к кризису управления ИИ.
Новое исследование, которое должно быть опубликовано на этой неделе Британским институтом стандартов, национальным органом по стандартизации Соединенного Королевства, проанализировало 100 многонациональных годовых отчетов и опросило 850 руководителей высшего звена по всему миру.
Результаты, предоставленные заранее эксклюзивно CyberScoop, показали, что американские компании отстают от остального мира в планировании безопасного и ответственного использования ИИ, даже несмотря на то, что правительство страны и руководители бизнеса, похоже, сделали все возможное для инвестирования и внедрения этой технологии.
Например, только 17,5% руководителей компаний в США сообщили о наличии у них программы управления ИИ, по сравнению с 24% в мире. При этом лишь каждая четвёртая компания в США ограничивает своих сотрудников в использовании несанкционированных инструментов ИИ, а четверть руководителей компаний знали, на каких данных обучались их инструменты ИИ.
В пресс-релизе, с которым ознакомился CyberScoop, говорится, что в результате их исследований был сделан вывод о том, что «американские компании демонстрируют… поразительное отсутствие барьеров, препятствующих вредоносному или безответственному использованию ИИ из-за стремления компаний принять участие в золотой лихорадке в сфере ИИ».
В новом исследовании , эксклюзивно предоставленном CyberScoop, компания SPLX, занимающаяся кибербезопасностью в сфере искусственного интеллекта, выявила уязвимости в ChatGPT Atlas, недавно выпущенном браузерном агенте OpenAI, а также в ChatGPT и Perplexity AI. Простое изменение заголовка пользовательского агента позволяет веб-сайту отправлять скрытую информацию в базовый LLM, которая влияет на его поведение и принятие решений.
Инженер по искусственному интеллекту SPLX Иван Влахов рассказал CyberScoop, что его команда создала веб-сайт, способный отображать разный контент в зависимости от посетителя. Для пользователя-человека сайт выглядел как стандартная профессиональная биография продуктового дизайнера.
Однако если веб-сайт обнаружит робота на основе искусственного интеллекта, например, такого, который используется в Atlas, GPT или Perplexity, отдельный сервер предоставит альтернативную, скрытую версию, наполненную негативными комментариями о дизайнере.
«Очень легко подавать разный контент на основе заголовка», — сказал Влахов.
Злонамеренные хакеры могут использовать эту технику для запуска клеветнических кампаний против отдельных лиц или организаций, зная, что агенты браузеров, ищущие те же имена или термины, обнаружат поддельную информацию. В то же время мошенники могут показывать агентам поддельные акции или скидки, показывая им совершенно иной набор цен или товаров, чем тот, который видят реальные посетители на легитимном сайте.
Влахов отметил, что мошенники часто использовали подобные SEO-схемы в онлайн-рекламе до того, как Google начал блокировать рекламу, основанную на подобных манипуляциях. Однако он заявил, что условия предоставления услуг OpenAI, по всей видимости, не решают эту проблему по существу.
«У OpenAI и ChatGPT нет чётких условий обслуживания; [они] не запрещают подобное поведение на сайтах напрямую», — сказал он. «Например, Google… заблокирует вашу страницу, и она больше не будет отображаться в результатах поиска. Первым шагом для OpenAI было бы внедрение методов проверки и фактическая блокировка злоумышленников».
В другом тесте команда исследовала, как подобные уязвимости можно использовать для манипулирования онлайн-рекрутингом. Они создали вымышленное объявление о вакансии с определёнными критериями оценки, а также онлайн-резюме и профили пяти кандидатов, каждое из которых размещалось на отдельной странице. Все резюме «выглядели реалистично и хорошо структурированы, содержали правдоподобные истории работы и описания навыков».
Одна из фейковых кандидаток, «Натали Картер», имела самые слабые характеристики, согласно данным её сайта, доступным для просмотра человеком, и получала самую низкую оценку от моделей искусственного интеллекта. Однако, если веб-страница Натали обнаруживала присутствие робота искусственного интеллекта, ей отправлялась другая страница с завышенными данными о квалификации, должностях и достижениях.
В результате Натали успешно прошла процедуру проверки ИИ, получив наивысший балл и опередив следующего кандидата на 10 баллов.
Влахов отметил, что одна из ироний этого недостатка заключается в том, что если пользователь каким-то образом заметит, что LLM обрабатывает различную информацию на сервере, он может просто предположить, что это пример галлюцинации — еще одна известная проблема с моделями ИИ.
«Даже если чат-бот говорит что-то плохое о человеке или публикует оскорбительный или непристойный контент, которого там быть не должно, — даже когда пользователь нажимает на ссылку, — он всё равно открывает обычный сайт, где всё в порядке», — сказал он. «Это похоже на галлюцинацию».
Компания OpenAI во вторник не сразу ответила на вопросы об исследовании. Представители Влахова и SPLX сообщили CyberScoop, что OpenAI не отреагировала на их предыдущие попытки связаться с компанией по поводу аналогичного исследования.
Другие исследователи и руководители технических компаний выразили дополнительную обеспокоенность в отношении Atlas.
На этой неделе компания LayerX заявила, что обнаружила способ использовать протоколы аутентификации ChatGPT для внедрения скрытых инструкций в память LLM, что в некоторых случаях даже позволяет выполнять удаленный код.
«Уязвимость затрагивает пользователей ChatGPT в любом браузере, но особенно опасна для пользователей нового агентского браузера OpenAI: ChatGPT Atlas», — написал в понедельник Ор Эшед, соучредитель и генеральный директор компании, специализирующейся на безопасности. «LayerX обнаружила, что Atlas в настоящее время не включает в себя каких-либо значимых антифишинговых защит, а это означает, что пользователи этого браузера на 90% более уязвимы для фишинговых атак, чем пользователи традиционных браузеров, таких как Chrome или Edge».
Стоит отметить некоторые нюансы: пользователь должен быть уже авторизован в ChatGPT и иметь в браузере действительный файл cookie или токен аутентификации. Кроме того, для срабатывания эксплойта пользователь должен сначала перейти по вредоносной ссылке.
Корпоративные пользователи также сообщали о некоторых сбоях. Пит Джонсон, технический директор MongoDB, рассказал, что после установки браузера Atlas ему стало «интересно», как он хранит кэшированные данные. Он быстро обнаружил ряд проблем.
Он написал , что, хотя «на Mac это стандартная практика для браузера хранить токены oAuth в базе данных SQLite, я обнаружил, что, по-видимому, это нестандартная практика, так как по умолчанию у установленного ChatGPT Atlas есть разрешение 644 на этот файл (что делает его доступным для любого процесса в вашей системе)». Кроме того, в отличие от других стандартных браузеров, Atlas «не использует связку ключей для шифрования токенов oAuth в этой базе данных SQLite (что означает, что эти токены можно запрашивать и затем использовать)».
Джонсон, назвавший себя «едва ли экспертом по безопасности», рассказал, что его скрипт позже был проверен специалистом по безопасности MongoDB. Он добавил, что другие пользователи с тех пор сообщали о той же уязвимости, а некоторые получили зашифрованные токены OAuth.
В то же время, пока специалисты по безопасности изучают браузерные агенты ИИ, глобальные организации по стандартизации отслеживают тревожные сигналы о том, что многие американские компании «лунатики» идут к кризису управления ИИ.
Новое исследование, которое должно быть опубликовано на этой неделе Британским институтом стандартов, национальным органом по стандартизации Соединенного Королевства, проанализировало 100 многонациональных годовых отчетов и опросило 850 руководителей высшего звена по всему миру.
Результаты, предоставленные заранее эксклюзивно CyberScoop, показали, что американские компании отстают от остального мира в планировании безопасного и ответственного использования ИИ, даже несмотря на то, что правительство страны и руководители бизнеса, похоже, сделали все возможное для инвестирования и внедрения этой технологии.
Например, только 17,5% руководителей компаний в США сообщили о наличии у них программы управления ИИ, по сравнению с 24% в мире. При этом лишь каждая четвёртая компания в США ограничивает своих сотрудников в использовании несанкционированных инструментов ИИ, а четверть руководителей компаний знали, на каких данных обучались их инструменты ИИ.
В пресс-релизе, с которым ознакомился CyberScoop, говорится, что в результате их исследований был сделан вывод о том, что «американские компании демонстрируют… поразительное отсутствие барьеров, препятствующих вредоносному или безответственному использованию ИИ из-за стремления компаний принять участие в золотой лихорадке в сфере ИИ».
