Компания Microsoft подала ходатайство в суд Вирджинии с требованием конфисковать программное обеспечение и закрыть интернет-инфраструктуру, которая, по ее утверждению, используется группой иностранных киберпреступников для обхода правил безопасности для систем генеративного искусственного интеллекта.
В заявлении, поданном в Восточный окружной суд Вирджинии, компания Microsoft подала иск против десяти лиц за использование украденных учетных данных и пользовательского программного обеспечения для взлома компьютеров, на которых работают службы Microsoft Azure OpenAI, с целью создания «вредоносного контента».
В жалобе , поданной 19 декабря 2024 года, компания обвиняет группу в нарушении Закона о компьютерном мошенничестве и злоупотреблениях, Закона об авторском праве в цифровую эпоху, Закона Лэнхэма и Закона о рэкетирском влиянии и коррумпированных организациях, а также в посягательстве на движимое имущество и деликтном вмешательстве в соответствии с законодательством штата Вирджиния.
Microsoft утверждает, что ответчики использовали украденные ключи API для получения доступа к устройствам и учетным записям в сервисе Microsoft Azure OpenAI, который они затем использовали для создания «тысяч» изображений, нарушающих действующие протоколы безопасности для предотвращения неправомерного использования. Активность была впервые обнаружена в период с июля по август 2024 года, и Microsoft заявила, что некоторые из украденных ключей API принадлежали американским компаниям, расположенным в Пенсильвании и Нью-Джерси.
По данным Microsoft, ответчики использовали программный инструмент, который позволил им получить представление о системе фильтрации Microsoft и OpenAI, что позволило им определить конкретные фразы, которые были помечены как нарушения безопасности, и провести обратную разработку языка, который позволил бы обойти эти ограничения. Программное обеспечение также позволяло пользователям извлекать метаданные из созданных медиафайлов, которые используются для создания цифровых водяных знаков и идентификации контента, сгенерированного ИИ.
В блоге, описывающем эти действия, Стивен Масада, помощник главного юрисконсульта отдела цифровых преступлений Microsoft, написал, что постановление суда и арест «позволят нам собрать важные доказательства о лицах, стоящих за этими операциями, выяснить, как монетизируются эти услуги, и нарушить работу дополнительной технической инфраструктуры, которую мы обнаружим».
Представитель Microsoft подтвердил CyberScoop, что компания получила временный запретительный судебный приказ, позволяющий конфисковать домен, указанный в жалобе.
«Арест этого домена позволяет [Microsoft] перенаправлять сообщения, происходящие на вредоносном домене, в наш [Отдел по борьбе с цифровыми преступлениями], делая их доступными для анализа следственной группой», — заявил представитель. «Помимо первоначального ареста, мы также обеспечили ускоренное раскрытие информации для дальнейшего расследования, а также сохранение улик в местах, которые, как мы определили, размещали часть «инфраструктуры», используемой ответчиками».
Microsoft использует генератор изображений DALL-E от OpenAI, а OpenAI и служба Microsoft Azure OpenAI реализуют протоколы и меры безопасности для предотвращения создания изображений, содержащих сцены насилия или ненависти, а также фотореалистичных изображений реальных лиц или публичных личностей. Ни в блоге, ни в жалобе не упоминается, что именно было изображено на созданных изображениях.
Microsoft не знает личности этих десяти человек, идентифицируя их по конкретным веб-сайтам, украденным ключам API Azure и инструментам GitHub, использованным в схеме. В жалобе утверждается, что по крайней мере трое из них являются поставщиками этих услуг и проживают за пределами США, а остальные, по всей видимости, являются конечными пользователями.
Эти лица обвиняются в создании схемы «взлом как услуга», систематической краже ключей API у клиентов, имеющих доступ к системам искусственного интеллекта Microsoft, и продаже этого доступа заинтересованным лицам через Интернет.
Системы генеративного ИИ, подобные тем, что предлагаются Microsoft и OpenAI, находятся на переднем крае битвы между компаниями, предоставляющими сложные возможности генерации текста и изображений, и злоумышленниками, стремящимися воспользоваться ими.
Киберпреступники, мошенники и иностранные разведывательные службы стремились использовать инструменты генеративного ИИ для улучшения или дополнения хакерских кампаний и создания ложных медиаматериалов для кампаний по дезинформации.
Компании, занимающиеся разработкой ИИ, стремились снизить опасения по поводу возможного злоупотребления своими технологиями, внедряя многочисленные технические барьеры и присоединяясь к международным соглашениям . Тем не менее, сторонние исследователи выявили множество методов, позволяющих обойти многие из этих ограничений, включая простые методы подсказок .
Однако есть некоторые признаки того, что меры защиты, принимаемые коммерческими компаниями США, могут оказаться более эффективными в плане удержания иностранных субъектов от полного использования этой технологии.
В прошлом году Управление директора национальной разведки США заявило , что такие страны, как Россия, Китай и Иран, использовали инструменты генеративного ИИ для создания фейковых медиа, призванных повлиять на выборы в США в 2024 году. Однако эффективность этих кампаний была отчасти снижена из-за того, что этим странам было сложно «преодолеть ограничения, встроенные во многие инструменты ИИ, и остаться незамеченными», заявил высокопоставленный сотрудник Управления национальной разведки США.
В заявлении, поданном в Восточный окружной суд Вирджинии, компания Microsoft подала иск против десяти лиц за использование украденных учетных данных и пользовательского программного обеспечения для взлома компьютеров, на которых работают службы Microsoft Azure OpenAI, с целью создания «вредоносного контента».
В жалобе , поданной 19 декабря 2024 года, компания обвиняет группу в нарушении Закона о компьютерном мошенничестве и злоупотреблениях, Закона об авторском праве в цифровую эпоху, Закона Лэнхэма и Закона о рэкетирском влиянии и коррумпированных организациях, а также в посягательстве на движимое имущество и деликтном вмешательстве в соответствии с законодательством штата Вирджиния.
Microsoft утверждает, что ответчики использовали украденные ключи API для получения доступа к устройствам и учетным записям в сервисе Microsoft Azure OpenAI, который они затем использовали для создания «тысяч» изображений, нарушающих действующие протоколы безопасности для предотвращения неправомерного использования. Активность была впервые обнаружена в период с июля по август 2024 года, и Microsoft заявила, что некоторые из украденных ключей API принадлежали американским компаниям, расположенным в Пенсильвании и Нью-Джерси.
По данным Microsoft, ответчики использовали программный инструмент, который позволил им получить представление о системе фильтрации Microsoft и OpenAI, что позволило им определить конкретные фразы, которые были помечены как нарушения безопасности, и провести обратную разработку языка, который позволил бы обойти эти ограничения. Программное обеспечение также позволяло пользователям извлекать метаданные из созданных медиафайлов, которые используются для создания цифровых водяных знаков и идентификации контента, сгенерированного ИИ.
В блоге, описывающем эти действия, Стивен Масада, помощник главного юрисконсульта отдела цифровых преступлений Microsoft, написал, что постановление суда и арест «позволят нам собрать важные доказательства о лицах, стоящих за этими операциями, выяснить, как монетизируются эти услуги, и нарушить работу дополнительной технической инфраструктуры, которую мы обнаружим».
Представитель Microsoft подтвердил CyberScoop, что компания получила временный запретительный судебный приказ, позволяющий конфисковать домен, указанный в жалобе.
«Арест этого домена позволяет [Microsoft] перенаправлять сообщения, происходящие на вредоносном домене, в наш [Отдел по борьбе с цифровыми преступлениями], делая их доступными для анализа следственной группой», — заявил представитель. «Помимо первоначального ареста, мы также обеспечили ускоренное раскрытие информации для дальнейшего расследования, а также сохранение улик в местах, которые, как мы определили, размещали часть «инфраструктуры», используемой ответчиками».
Microsoft использует генератор изображений DALL-E от OpenAI, а OpenAI и служба Microsoft Azure OpenAI реализуют протоколы и меры безопасности для предотвращения создания изображений, содержащих сцены насилия или ненависти, а также фотореалистичных изображений реальных лиц или публичных личностей. Ни в блоге, ни в жалобе не упоминается, что именно было изображено на созданных изображениях.
Microsoft не знает личности этих десяти человек, идентифицируя их по конкретным веб-сайтам, украденным ключам API Azure и инструментам GitHub, использованным в схеме. В жалобе утверждается, что по крайней мере трое из них являются поставщиками этих услуг и проживают за пределами США, а остальные, по всей видимости, являются конечными пользователями.
Эти лица обвиняются в создании схемы «взлом как услуга», систематической краже ключей API у клиентов, имеющих доступ к системам искусственного интеллекта Microsoft, и продаже этого доступа заинтересованным лицам через Интернет.
Системы генеративного ИИ, подобные тем, что предлагаются Microsoft и OpenAI, находятся на переднем крае битвы между компаниями, предоставляющими сложные возможности генерации текста и изображений, и злоумышленниками, стремящимися воспользоваться ими.
Киберпреступники, мошенники и иностранные разведывательные службы стремились использовать инструменты генеративного ИИ для улучшения или дополнения хакерских кампаний и создания ложных медиаматериалов для кампаний по дезинформации.
Компании, занимающиеся разработкой ИИ, стремились снизить опасения по поводу возможного злоупотребления своими технологиями, внедряя многочисленные технические барьеры и присоединяясь к международным соглашениям . Тем не менее, сторонние исследователи выявили множество методов, позволяющих обойти многие из этих ограничений, включая простые методы подсказок .
Однако есть некоторые признаки того, что меры защиты, принимаемые коммерческими компаниями США, могут оказаться более эффективными в плане удержания иностранных субъектов от полного использования этой технологии.
В прошлом году Управление директора национальной разведки США заявило , что такие страны, как Россия, Китай и Иран, использовали инструменты генеративного ИИ для создания фейковых медиа, призванных повлиять на выборы в США в 2024 году. Однако эффективность этих кампаний была отчасти снижена из-за того, что этим странам было сложно «преодолеть ограничения, встроенные во многие инструменты ИИ, и остаться незамеченными», заявил высокопоставленный сотрудник Управления национальной разведки США.
