Для самых продвинутых хакеров мира большие языковые модели представляют собой новейший популярный инструмент повышения производительности.
В опубликованном в среду отчете исследователи Microsoft заявили, что они наблюдали, как хакеры из Китая, Ирана, Северной Кореи и России экспериментировали с использованием больших языковых моделей, однако им пока не доводилось видеть, как эта технология применялась для совершения каких-либо заметных атак.
Разработка и быстрое распространение моделей искусственного интеллекта вызвали опасения, что хакеры смогут использовать эту технологию для проведения кибератак , масштабного распространения дезинформации и создания более эффективных фишинговых писем. В опубликованном в среду отчёте Microsoft делается вывод о том, что, хотя поддерживаемые государством хакеры из некоторых из самых мощных кибердержав мира изучают возможности использования этого инструмента, худшие опасения относительно злоупотреблений этой технологией пока не оправдались.
«Наш анализ текущего использования технологии LLM злоумышленниками выявил поведение, соответствующее тому, что злоумышленники используют ИИ в качестве еще одного инструмента повышения производительности в наступательной сфере», — говорится в отчете.
В опубликованном в среду отчёте описывается совместная работа Microsoft и OpenAI, которая активно использует вычислительную инфраструктуру Microsoft для обучения своих моделей и получила миллиарды долларов инвестиций от технологического гиганта. Отчёт основан на наблюдениях за LLM-программами, принадлежащими Microsoft и OpenAI и разработанными ими. Они признаны одними из самых передовых на рынке.
«Наше исследование с OpenAI не выявило серьезных атак с использованием LLM, за которыми мы внимательно следим», — пишут авторы, отмечая, что отчет направлен на «выявление ранних, постепенных действий, которые, как мы наблюдаем, пытаются предпринимать известные злоумышленники».
Компании Microsoft и OpenAI наблюдали, как российская хакерская группа, известная как APT 28 или Fancy Bear, использовала LLM для проведения исследований в области «протоколов спутниковой связи, технологий радиолокационной визуализации и конкретных технических параметров», запросы, которые «предполагают попытку получить глубокие знания о возможностях спутников».
У Fancy Bear имеется обширный опыт проведения киберопераций на Украине в поддержку российских военных действий, и запросы LLM этой группы, вероятно, могли быть использованы для атаки на инфраструктуру спутниковой связи в этой стране — именно на неё, как известно, нацелены российские хакерские группы . Однако Microsoft и OpenAI пришли к выводу, что использование Fancy Bear LLM «характерно для изучения противником вариантов использования новой технологии».
LLM предоставляют злоумышленникам привлекательный способ создания более эффективных приманок, и многие исследователи утверждают, что использование LLM для повышения качества и количества фишинговых писем представляет собой один из наиболее очевидных способов злоупотребления моделями ИИ. Опубликованный в среду отчёт лишь подкрепит этот аргумент, поскольку Microsoft и OpenAI отмечают, что как иранские, так и северокорейские хакерские группы используют эту технологию, чтобы обманным путём заманивать жертв на вредоносные сайты.
Компании обнаружили, что иранские хакеры, известные как Crimson Sandstorm, использовали степени магистра права для создания фишингового письма, «выдававшего себя за письмо от международного агентства по развитию, а также письмо, пытавшееся заманить известных феминисток на созданный злоумышленниками веб-сайт, посвящённый феминизму». Северокорейская хакерская группа, известная шпионажем за аналитическими центрами и учёными и наиболее известная как Thallium, использовала степени магистра права для создания контента, который, вероятно, использовался в фишинговых кампаниях, нацеленных на лиц, обладающих опытом в регионе.
LLM также продемонстрировали значительный потенциал в области генерации компьютерного кода, и здесь хакеры, поддерживаемые государством, также используют эту технологию. Хакерские группы из всех четырёх отслеживаемых стран — Китая, Ирана, Северной Кореи и России — были замечены в использовании методов написания скриптов, улучшенных с помощью LLM. Китайская хакерская группа Chromium использовала LLM для «генерации и улучшения скриптов, потенциально для оптимизации и автоматизации сложных киберзадач и операций». Китайская хакерская группа Sodium попыталась получить LLM для генерации вредоносного кода, но не смогла обойти ограничения модели, которые препятствовали генерации кода.
В других случаях обладатели степени магистра права выступали в роли помощников хакеров, устраняя неполадки в коде, переводя иностранные языки и объясняя технические документы.
В отчёте, опубликованном в среду, представлен краткий обзор того, как подходы к безопасности в лабораториях ИИ применяются на практике. OpenAI использует довольно ограниченный подход к доступу к моделям, ограничивая доступ к своей технологии с помощью онлайн-чат-бота или API. Это позволяет компании достаточно тщательно контролировать использование своих инструментов.
Уровень детализации, с которым в отчёте описывается поведение поддерживаемых государством хакерских групп, служит примером того, как этот закрытый подход к разработке моделей ИИ может быть использован для мониторинга злоупотреблений. Тот факт, что OpenAI и Microsoft способны связывать запросы своих моделей с известными хакерскими группами, свидетельствует о том, что первые попытки слежки за магистрами права (LLM) приносят определённые результаты.
Аналогичным образом, опубликованный в среду отчёт, вероятно, отражает лишь малую часть экспериментов иностранных хакерских групп с программами LLM. Если такие группы, как Fancy Bear, изучают использование довольно тщательно отслеживаемых инструментов OpenAI, они, вероятно, также экспериментируют с инструментами с открытым исходным кодом, которые сложнее отслеживать.
В связи с опубликованным в среду отчётом Microsoft объявила о наборе принципов, которые, по заявлению компании, будут регулировать её усилия по предотвращению злоупотребления моделями ИИ со стороны хакеров, поддерживаемых государством. Компания обязалась выявлять и пресекать использование степеней магистра права (LLM) хакерами, поддерживаемыми государством, заявила, что уведомит других поставщиков услуг ИИ, если Microsoft обнаружит, что их системы используют продвинутые хакерские группы, пообещала сотрудничать с другими заинтересованными сторонами для обмена информацией и пообещала быть прозрачной в отношении того, в какой степени хакеры, поддерживаемые государством, атакуют и злоупотребляют её системами ИИ.
В опубликованном в среду отчете исследователи Microsoft заявили, что они наблюдали, как хакеры из Китая, Ирана, Северной Кореи и России экспериментировали с использованием больших языковых моделей, однако им пока не доводилось видеть, как эта технология применялась для совершения каких-либо заметных атак.
Разработка и быстрое распространение моделей искусственного интеллекта вызвали опасения, что хакеры смогут использовать эту технологию для проведения кибератак , масштабного распространения дезинформации и создания более эффективных фишинговых писем. В опубликованном в среду отчёте Microsoft делается вывод о том, что, хотя поддерживаемые государством хакеры из некоторых из самых мощных кибердержав мира изучают возможности использования этого инструмента, худшие опасения относительно злоупотреблений этой технологией пока не оправдались.
«Наш анализ текущего использования технологии LLM злоумышленниками выявил поведение, соответствующее тому, что злоумышленники используют ИИ в качестве еще одного инструмента повышения производительности в наступательной сфере», — говорится в отчете.
В опубликованном в среду отчёте описывается совместная работа Microsoft и OpenAI, которая активно использует вычислительную инфраструктуру Microsoft для обучения своих моделей и получила миллиарды долларов инвестиций от технологического гиганта. Отчёт основан на наблюдениях за LLM-программами, принадлежащими Microsoft и OpenAI и разработанными ими. Они признаны одними из самых передовых на рынке.
«Наше исследование с OpenAI не выявило серьезных атак с использованием LLM, за которыми мы внимательно следим», — пишут авторы, отмечая, что отчет направлен на «выявление ранних, постепенных действий, которые, как мы наблюдаем, пытаются предпринимать известные злоумышленники».
Компании Microsoft и OpenAI наблюдали, как российская хакерская группа, известная как APT 28 или Fancy Bear, использовала LLM для проведения исследований в области «протоколов спутниковой связи, технологий радиолокационной визуализации и конкретных технических параметров», запросы, которые «предполагают попытку получить глубокие знания о возможностях спутников».
У Fancy Bear имеется обширный опыт проведения киберопераций на Украине в поддержку российских военных действий, и запросы LLM этой группы, вероятно, могли быть использованы для атаки на инфраструктуру спутниковой связи в этой стране — именно на неё, как известно, нацелены российские хакерские группы . Однако Microsoft и OpenAI пришли к выводу, что использование Fancy Bear LLM «характерно для изучения противником вариантов использования новой технологии».
LLM предоставляют злоумышленникам привлекательный способ создания более эффективных приманок, и многие исследователи утверждают, что использование LLM для повышения качества и количества фишинговых писем представляет собой один из наиболее очевидных способов злоупотребления моделями ИИ. Опубликованный в среду отчёт лишь подкрепит этот аргумент, поскольку Microsoft и OpenAI отмечают, что как иранские, так и северокорейские хакерские группы используют эту технологию, чтобы обманным путём заманивать жертв на вредоносные сайты.
Компании обнаружили, что иранские хакеры, известные как Crimson Sandstorm, использовали степени магистра права для создания фишингового письма, «выдававшего себя за письмо от международного агентства по развитию, а также письмо, пытавшееся заманить известных феминисток на созданный злоумышленниками веб-сайт, посвящённый феминизму». Северокорейская хакерская группа, известная шпионажем за аналитическими центрами и учёными и наиболее известная как Thallium, использовала степени магистра права для создания контента, который, вероятно, использовался в фишинговых кампаниях, нацеленных на лиц, обладающих опытом в регионе.
LLM также продемонстрировали значительный потенциал в области генерации компьютерного кода, и здесь хакеры, поддерживаемые государством, также используют эту технологию. Хакерские группы из всех четырёх отслеживаемых стран — Китая, Ирана, Северной Кореи и России — были замечены в использовании методов написания скриптов, улучшенных с помощью LLM. Китайская хакерская группа Chromium использовала LLM для «генерации и улучшения скриптов, потенциально для оптимизации и автоматизации сложных киберзадач и операций». Китайская хакерская группа Sodium попыталась получить LLM для генерации вредоносного кода, но не смогла обойти ограничения модели, которые препятствовали генерации кода.
В других случаях обладатели степени магистра права выступали в роли помощников хакеров, устраняя неполадки в коде, переводя иностранные языки и объясняя технические документы.
В отчёте, опубликованном в среду, представлен краткий обзор того, как подходы к безопасности в лабораториях ИИ применяются на практике. OpenAI использует довольно ограниченный подход к доступу к моделям, ограничивая доступ к своей технологии с помощью онлайн-чат-бота или API. Это позволяет компании достаточно тщательно контролировать использование своих инструментов.
Уровень детализации, с которым в отчёте описывается поведение поддерживаемых государством хакерских групп, служит примером того, как этот закрытый подход к разработке моделей ИИ может быть использован для мониторинга злоупотреблений. Тот факт, что OpenAI и Microsoft способны связывать запросы своих моделей с известными хакерскими группами, свидетельствует о том, что первые попытки слежки за магистрами права (LLM) приносят определённые результаты.
Аналогичным образом, опубликованный в среду отчёт, вероятно, отражает лишь малую часть экспериментов иностранных хакерских групп с программами LLM. Если такие группы, как Fancy Bear, изучают использование довольно тщательно отслеживаемых инструментов OpenAI, они, вероятно, также экспериментируют с инструментами с открытым исходным кодом, которые сложнее отслеживать.
В связи с опубликованным в среду отчётом Microsoft объявила о наборе принципов, которые, по заявлению компании, будут регулировать её усилия по предотвращению злоупотребления моделями ИИ со стороны хакеров, поддерживаемых государством. Компания обязалась выявлять и пресекать использование степеней магистра права (LLM) хакерами, поддерживаемыми государством, заявила, что уведомит других поставщиков услуг ИИ, если Microsoft обнаружит, что их системы используют продвинутые хакерские группы, пообещала сотрудничать с другими заинтересованными сторонами для обмена информацией и пообещала быть прозрачной в отношении того, в какой степени хакеры, поддерживаемые государством, атакуют и злоупотребляют её системами ИИ.
