Долговременной темой использования состязательного ИИ с момента появления крупных языковых моделей стала автоматизация и совершенствование хорошо зарекомендовавших себя методов взлома, а не создание новых.
Это касается и большей части октябрьского отчета OpenAI об угрозах, в котором подчеркивается, как правительственные учреждения и киберпреступное подполье предпочитают использовать ИИ для повышения эффективности или масштабирования своих хакерских инструментов и кампаний вместо того, чтобы изобретать велосипед.
«Неоднократно и в разных типах операций субъекты угроз, которых мы запретили, встраивали ИИ в свои существующие рабочие процессы вместо того, чтобы создавать новые рабочие процессы на основе ИИ», — отмечается в отчете.
Большая часть этой деятельности по-прежнему сосредоточена на таких знакомых задачах, как разработка вредоносного ПО, инфраструктуры управления и контроля, составление более убедительных фишинговых писем и проведение разведывательной работы в отношении целевых людей, организаций и технологий.
Тем не менее, последние исследования группы по анализу угроз OpenAI действительно выявили некоторые интригующие данные о том, как различные правительства и мошенники по всему миру пытаются использовать технологию LLM в своей деятельности.
Одна группа аккаунтов, по-видимому, была сосредоточена конкретно на нескольких узкоспециализированных темах, которые, как известно, представляют особый интерес для китайских разведывательных служб.
«Угрозы, управляющие этими аккаунтами, продемонстрировали отличительные черты, соответствующие кибероперациям, проводимым в целях удовлетворения потребностей разведки КНР: использование китайского языка и нацеливание на полупроводниковый сектор Тайваня, американские академические круги и аналитические центры, а также организации, связанные с этническими и политическими группами, критикующими «китайское правительство»», — пишут авторы Бен Ниммо, Кимо Буманглаг, Майкл Флоссман, Натаниэль Хартли, Лотус Руань, Джек Стаббс и Альберт Чжан.
По данным OpenAI, эти аккаунты также имеют технические совпадения с аккаунтами широко известной китайской группы кибершпионажа.
Возможно, неудовлетворенные продуктом американского производства, аккаунты также, похоже, были заинтересованы в том, чтобы направить в ChatGPT вопросы о том, как те же рабочие процессы можно организовать с помощью DeepSeek — альтернативной китайской модели с открытым весом , которая сама могла быть обучена на версии ChatGPT.
Другая группа учётных записей, вероятно, связанных с Северной Кореей, по-видимому, использовала модульный, фабричный подход к майнингу ChatGPT для получения информации о киберугрозах. Каждая отдельная учётная запись была практически полностью посвящена изучению конкретных сценариев использования, таких как создание расширений Chrome для Safari для публикации в Apple App Store, настройка VPN для Windows Server или разработка расширений Finder для macOS, «а не охватывала несколько технических областей».
OpenAI не делает никаких официальных заявлений о принадлежности к правительству Северной Кореи, но отмечает, что её сервисы заблокированы в стране, и что поведение этих учётных записей «соответствовало» пониманию сообществом безопасности северокорейских угроз.
Компания также выявила другие кластеры, связанные с Китаем, которые активно использовали её платформу для создания контента для операций влияния в социальных сетях, направленных на распространение прокитайских настроений в странах по всему миру. Некоторые из этих аккаунтов были косвенно связаны с аналогичной китайской кампанией Spamouflage , хотя исследователи OpenAI не установили официальной связи.
Исследователи отметили, что деятельность «имела поведенческие черты, схожие с другими тайными операциями по оказанию влияния китайского происхождения, такими как публикация хэштегов, изображений или видео, распространенных в ходе прошлых операций, а также использование стоковых изображений в качестве фотографий профиля или стандартных имен пользователей социальных сетей, что облегчало их идентификацию».
Еще одной общей чертой кампании со Spamouflage является ее кажущаяся неэффективность.
«Большинство публикаций и аккаунтов в социальных сетях получили минимальное или нулевое взаимодействие. Зачастую единственными ответами или репостами постов, созданных этой сетью в X и Instagram, были другие аккаунты в социальных сетях, контролируемые операторами этой сети», — добавили они.
Отчёт OpenAI не охватывает Sora 2, инструмент для создания видео на основе искусственного интеллекта. Возможности этого инструмента для дипфейкинга и дезинформации давно вызывают опасения с момента его анонса в прошлом году, и за неделю после выхода это приложение, доступное только по приглашению, уже продемонстрировало пугающий потенциал искажения реальности.
Большая часть использования не вызывает удивления: фундаментальные исследования, перевод фишинговых писем и создание контента для кампаний влияния. Тем не менее, исследования OpenAI показывают, что как государственные, так и негосударственные субъекты используют ИИ в качестве «песочницы» для разработки вредоносных киберактивностей и в качестве административного инструмента для оптимизации своей работы.
Один мошеннический центр, предположительно расположенный в Мьянме, использовал ChatGPT «как для генерации контента для своих мошеннических схем, так и для выполнения повседневных деловых задач», таких как организация расписаний, написание внутренних объявлений, распределение рабочих мест и условий проживания между сотрудниками, а также управление финансами.
Другие использовали этот инструмент всё более изощрёнными способами, как, например, камбоджийский мошеннический центр, который использовал его для создания «подробных» биографий фиктивных компаний, руководителей и сотрудников, а затем использовал эту модель для создания персонализированных сообщений в социальных сетях от имени этих персонажей, чтобы мошенничество выглядело более реалистичным. В некоторых случаях те же аккаунты возвращались к ChatGPT, чтобы запросить ответы, полученные от целевых жертв, что свидетельствует об относительной успешности схемы.
Исследователи также обнаружили интересную динамику двойного назначения: помимо того, что ChatGPT используется мошенниками, многие пользователи обращаются к нему за информацией о потенциальных мошенничествах, с которыми они столкнулись.
«Мы получили доказательства того, что люди используют ChatGPT для выявления и предотвращения онлайн-мошенничества миллионы раз в месяц. В каждом случае мошенничества, описанном в этом отчете, мы наблюдали, как модель помогала людям правильно распознавать мошенничество и давала рекомендации по соответствующим мерам безопасности», — заявили исследователи OpenAI, по их оценкам, инструмент «используется для выявления мошенничества в три раза чаще, чем для мошенничества».
Поскольку OpenAI заявляет, что её модель отклоняет практически все «откровенно вредоносные запросы», во многих случаях специалисты по анализу угроз анализируют кластеры и учётные записи, находящиеся в «серой зоне», подталкивая модель к выполнению запросов, имеющих двойной характер и не являющихся строго противозаконными или противоречащими условиям обслуживания. Например, процесс улучшения отладки инструмента, криптографии или разработки браузера может «приобрести иное значение, если злоумышленник использует его для
других целей». «Наблюдаемая нами активность, как правило, заключалась в отправке безобидных запросов… и, вероятно, их использовании за пределами нашей платформы во вредоносных целях», — отмечают авторы.
Один пример: группа русскоязычных киберпреступников попыталась использовать ChatGPT для разработки и усовершенствования вредоносного ПО, но после отклонения этих первоначальных запросов они перешли к «извлечению кода-строительных блоков… который злоумышленник, вероятно, затем скомпоновал во вредоносные рабочие процессы».
Те же злоумышленники также предложили модель для кода обфускации, шаблонов шифровальщиков и инструментов эксфильтрации, которые могли бы с таким же успехом использоваться специалистами по кибербезопасности, но в данном случае злоумышленники фактически опубликовали информацию о своей деятельности в Telegram-аккаунте российского киберпреступника.
«Эти результаты не являются изначально вредоносными, если только они не используются таким образом злоумышленниками за пределами нашей платформы», — утверждают авторы.
Это касается и большей части октябрьского отчета OpenAI об угрозах, в котором подчеркивается, как правительственные учреждения и киберпреступное подполье предпочитают использовать ИИ для повышения эффективности или масштабирования своих хакерских инструментов и кампаний вместо того, чтобы изобретать велосипед.
«Неоднократно и в разных типах операций субъекты угроз, которых мы запретили, встраивали ИИ в свои существующие рабочие процессы вместо того, чтобы создавать новые рабочие процессы на основе ИИ», — отмечается в отчете.
Большая часть этой деятельности по-прежнему сосредоточена на таких знакомых задачах, как разработка вредоносного ПО, инфраструктуры управления и контроля, составление более убедительных фишинговых писем и проведение разведывательной работы в отношении целевых людей, организаций и технологий.
Тем не менее, последние исследования группы по анализу угроз OpenAI действительно выявили некоторые интригующие данные о том, как различные правительства и мошенники по всему миру пытаются использовать технологию LLM в своей деятельности.
Одна группа аккаунтов, по-видимому, была сосредоточена конкретно на нескольких узкоспециализированных темах, которые, как известно, представляют особый интерес для китайских разведывательных служб.
«Угрозы, управляющие этими аккаунтами, продемонстрировали отличительные черты, соответствующие кибероперациям, проводимым в целях удовлетворения потребностей разведки КНР: использование китайского языка и нацеливание на полупроводниковый сектор Тайваня, американские академические круги и аналитические центры, а также организации, связанные с этническими и политическими группами, критикующими «китайское правительство»», — пишут авторы Бен Ниммо, Кимо Буманглаг, Майкл Флоссман, Натаниэль Хартли, Лотус Руань, Джек Стаббс и Альберт Чжан.
По данным OpenAI, эти аккаунты также имеют технические совпадения с аккаунтами широко известной китайской группы кибершпионажа.
Возможно, неудовлетворенные продуктом американского производства, аккаунты также, похоже, были заинтересованы в том, чтобы направить в ChatGPT вопросы о том, как те же рабочие процессы можно организовать с помощью DeepSeek — альтернативной китайской модели с открытым весом , которая сама могла быть обучена на версии ChatGPT.
Другая группа учётных записей, вероятно, связанных с Северной Кореей, по-видимому, использовала модульный, фабричный подход к майнингу ChatGPT для получения информации о киберугрозах. Каждая отдельная учётная запись была практически полностью посвящена изучению конкретных сценариев использования, таких как создание расширений Chrome для Safari для публикации в Apple App Store, настройка VPN для Windows Server или разработка расширений Finder для macOS, «а не охватывала несколько технических областей».
OpenAI не делает никаких официальных заявлений о принадлежности к правительству Северной Кореи, но отмечает, что её сервисы заблокированы в стране, и что поведение этих учётных записей «соответствовало» пониманию сообществом безопасности северокорейских угроз.
Компания также выявила другие кластеры, связанные с Китаем, которые активно использовали её платформу для создания контента для операций влияния в социальных сетях, направленных на распространение прокитайских настроений в странах по всему миру. Некоторые из этих аккаунтов были косвенно связаны с аналогичной китайской кампанией Spamouflage , хотя исследователи OpenAI не установили официальной связи.
Исследователи отметили, что деятельность «имела поведенческие черты, схожие с другими тайными операциями по оказанию влияния китайского происхождения, такими как публикация хэштегов, изображений или видео, распространенных в ходе прошлых операций, а также использование стоковых изображений в качестве фотографий профиля или стандартных имен пользователей социальных сетей, что облегчало их идентификацию».
Еще одной общей чертой кампании со Spamouflage является ее кажущаяся неэффективность.
«Большинство публикаций и аккаунтов в социальных сетях получили минимальное или нулевое взаимодействие. Зачастую единственными ответами или репостами постов, созданных этой сетью в X и Instagram, были другие аккаунты в социальных сетях, контролируемые операторами этой сети», — добавили они.
Отчёт OpenAI не охватывает Sora 2, инструмент для создания видео на основе искусственного интеллекта. Возможности этого инструмента для дипфейкинга и дезинформации давно вызывают опасения с момента его анонса в прошлом году, и за неделю после выхода это приложение, доступное только по приглашению, уже продемонстрировало пугающий потенциал искажения реальности.
Растущая экосистема мошенничества на основе искусственного интеллекта и «эффективность» двойного назначения
OpenAI также борется с вызовами со стороны мошенников, которые пытаются использовать ее продукты для автоматизации или усовершенствования схем интернет-мошенничества, начиная от одиночек, совершенствующих свои собственные мошеннические схемы, до «масштабных и настойчивых операторов, вероятно, связанных с организованными преступными группировками».Большая часть использования не вызывает удивления: фундаментальные исследования, перевод фишинговых писем и создание контента для кампаний влияния. Тем не менее, исследования OpenAI показывают, что как государственные, так и негосударственные субъекты используют ИИ в качестве «песочницы» для разработки вредоносных киберактивностей и в качестве административного инструмента для оптимизации своей работы.
Один мошеннический центр, предположительно расположенный в Мьянме, использовал ChatGPT «как для генерации контента для своих мошеннических схем, так и для выполнения повседневных деловых задач», таких как организация расписаний, написание внутренних объявлений, распределение рабочих мест и условий проживания между сотрудниками, а также управление финансами.
Другие использовали этот инструмент всё более изощрёнными способами, как, например, камбоджийский мошеннический центр, который использовал его для создания «подробных» биографий фиктивных компаний, руководителей и сотрудников, а затем использовал эту модель для создания персонализированных сообщений в социальных сетях от имени этих персонажей, чтобы мошенничество выглядело более реалистичным. В некоторых случаях те же аккаунты возвращались к ChatGPT, чтобы запросить ответы, полученные от целевых жертв, что свидетельствует об относительной успешности схемы.
Исследователи также обнаружили интересную динамику двойного назначения: помимо того, что ChatGPT используется мошенниками, многие пользователи обращаются к нему за информацией о потенциальных мошенничествах, с которыми они столкнулись.
«Мы получили доказательства того, что люди используют ChatGPT для выявления и предотвращения онлайн-мошенничества миллионы раз в месяц. В каждом случае мошенничества, описанном в этом отчете, мы наблюдали, как модель помогала людям правильно распознавать мошенничество и давала рекомендации по соответствующим мерам безопасности», — заявили исследователи OpenAI, по их оценкам, инструмент «используется для выявления мошенничества в три раза чаще, чем для мошенничества».
Поскольку OpenAI заявляет, что её модель отклоняет практически все «откровенно вредоносные запросы», во многих случаях специалисты по анализу угроз анализируют кластеры и учётные записи, находящиеся в «серой зоне», подталкивая модель к выполнению запросов, имеющих двойной характер и не являющихся строго противозаконными или противоречащими условиям обслуживания. Например, процесс улучшения отладки инструмента, криптографии или разработки браузера может «приобрести иное значение, если злоумышленник использует его для
других целей». «Наблюдаемая нами активность, как правило, заключалась в отправке безобидных запросов… и, вероятно, их использовании за пределами нашей платформы во вредоносных целях», — отмечают авторы.
Один пример: группа русскоязычных киберпреступников попыталась использовать ChatGPT для разработки и усовершенствования вредоносного ПО, но после отклонения этих первоначальных запросов они перешли к «извлечению кода-строительных блоков… который злоумышленник, вероятно, затем скомпоновал во вредоносные рабочие процессы».
Те же злоумышленники также предложили модель для кода обфускации, шаблонов шифровальщиков и инструментов эксфильтрации, которые могли бы с таким же успехом использоваться специалистами по кибербезопасности, но в данном случае злоумышленники фактически опубликовали информацию о своей деятельности в Telegram-аккаунте российского киберпреступника.
«Эти результаты не являются изначально вредоносными, если только они не используются таким образом злоумышленниками за пределами нашей платформы», — утверждают авторы.
