Исследователи из Нью-Йоркского университета приписали себе заслугу создания вредоносного ПО, обнаруженного сторонними исследователями, которое использует быстрое внедрение для манипулирования большой языковой моделью с целью содействия атаке программ-вымогателей.
В прошлом месяце исследователи ESET заявили об обнаружении первого в мире образца «программы-вымогателя на базе искусственного интеллекта», указав на код, найденный на VirusTotal. Код, написанный на Golang и получивший название «PromptLock», также включал инструкции для версии OpenAI ChatGPT с открытым исходным кодом для выполнения ряда задач, таких как проверка файловых систем, кража данных и написание записок с требованием выкупа.
Исследователи ESET сообщили CyberScoop, что код, по всей видимости, незакончен или представляет собой лишь прототип. Кроме информации о том, что он был загружен пользователем из США, у компании не было никакой дополнительной информации о происхождении вредоносного ПО.
Теперь исследователи из Школы инженерии Тандон при Нью-Йоркском университете подтвердили, что они создали код в рамках проекта, призванного проиллюстрировать потенциальный вред вредоносного ПО на базе искусственного интеллекта.
В соответствующей научной статье исследователи называют проект «Программой-вымогателем 3.0» и описывают его как новый метод атаки. Этот метод «использует большие языковые модели (LLM) для автономного планирования, адаптации и реализации жизненного цикла атаки программы-вымогателя».
«В отличие от обычного вредоносного ПО, прототипу требуются только подсказки на естественном языке, встроенные в двоичный файл; вредоносный код динамически синтезируется LLM во время выполнения, создавая полиморфные варианты, адаптирующиеся к среде выполнения», — пишут авторы. «Система осуществляет разведку, генерацию полезной нагрузки и персонализированное вымогательство в рамках замкнутой кампании атаки без участия человека».
По словам Лии Шмерл, специалиста по связям с общественностью Нью-Йоркского университета, проект возглавляет профессор Нью-Йоркского университета Рамеш Карри и группа исследователей, имеющих докторскую и постдокторскую степень. Исследование финансируется грантом Министерства энергетики США, Национального научного фонда и Отдела науки, технологий и инноваций корпорации Empire State Development в Нью-Йорке.
Мд Раз, аспирант Нью-Йоркского университета и ведущий автор статьи, рассказал CyberScoop, что команда загрузила свое доказательство концепции на VirusTotal во время финальных процедур тестирования, и ESET обнаружила его, не зная его академического происхождения.
Раз сказал, что основной мотивацией проекта была уверенность команды в том, что «программы-вымогатели становятся все более опасными, они используют множество новых технологий, таких как передовое шифрование… и в то же время мы видим, что искусственный интеллект становится все более совершенным».
«На пересечении всего этого мы считаем, что существует действительно серьезная угроза, которая еще не была обнаружена в дикой природе, поэтому мы приступили к [исследованию] того, является ли эта угроза реальной», — добавил он.
Раз рассказал, что команда создала программу с использованием программного обеспечения с открытым исходным кодом, арендованного стандартного оборудования и «пары графических процессоров». Он описал несколько особенностей Ransomware 3.0 и объяснил, как использование LLM создаёт уникальные проблемы безопасности для специалистов по безопасности, особенно при обнаружении. Используемые им подсказки на естественном языке полиморфны, то есть каждый раз генерируется «совершенно другой код» с разным временем выполнения, телеметрией и другими функциями, которые могут значительно затруднить отслеживание в рамках нескольких инцидентов.
Он сообщил, что команда скрыла от общественности значительное количество артефактов, необходимых для оценки вируса-вымогателя, таких как скрипты, JSON-запросы к LLM и поведенческие сигналы, опасаясь, что злоумышленники могут воспользоваться ими. Команда планирует представить более подробную информацию о своём исследовании на предстоящих конференциях.
Позднее компания ESET обновила свои исследования и публикации в социальных сетях , отметив, что вредоносную программу создали исследователи Нью-Йоркского университета, однако заявила, что остается при своих первоначальных выводах.
«Это подтверждает нашу уверенность в том, что это была лишь проверка концепции, а не полноценное вредоносное ПО, развёрнутое в реальных условиях», — заявила компания в обновлении блога исследователя Черепанова, посвящённом PromptLock. «Тем не менее, наши выводы остаются верными — обнаруженные образцы представляют собой первый известный случай использования программы-вымогателя с использованием ИИ».
Это утверждение поддержали исследователи из Нью-Йоркского университета, которые написали: «Насколько нам известно, мы являемся первой работой, демонстрирующей полностью замкнутую схему атаки с использованием вируса-вымогателя, организованную LLM, с целевой нагрузкой и персонализированной тактикой вымогательства, а также комплексную поведенческую оценку для содействия будущим средствам защиты».
Но хотя открытие ESET и последовавшие за ним сообщения в СМИ сдвинули сроки объявления проекта, Раз заявил, что исследовательская группа не расстроена неожиданным вниманием, которое ей оказали.
«Думаю, нам определённо повезло, что мы опубликовали двоичный файл [в VirusTotal]», — сказал он, отметив, что код не был специально разработан для того, чтобы выделяться, и избегал обнаружения всеми основными антивирусами. «Довольно хорошо, что все начали активно говорить об этом и о средствах защиты от него, потому что подобные технологии никогда ранее не публиковались, и тот факт, что это было представлено как нечто реально существующее, действительно обеспечил широкий охват».
Хотя академический характер вредоносного ПО может служить подтверждением этих утверждений, Ransomware 3.0 — один из многочисленных примеров, опубликованных за последний месяц и подробно демонстрирующих, как LLM могут довольно легко использоваться в качестве помощников по вымогательству для низкоквалифицированных технических злоумышленников, используя относительно простые подсказки.
В прошлом месяце компания Anthropic сообщила о недавнем обнаружении киберпреступника, использовавшего принадлежащую компании степень магистра права Claude в «беспрецедентных масштабах» для совершения «кражи и вымогательства персональных данных в особо крупных масштабах». В отчёте об угрозах подробно описывается поведение Claude, схожее с тем, что описывают Нью-Йоркский университет и ESET. Злоумышленник нацелился как минимум на 17 различных организаций здравоохранения, правительства, экстренных служб и религиозных организаций.
«Claude Code использовался для автоматизации разведки, сбора учетных данных жертв и проникновения в сети», — писали специалисты по безопасности Anthropic. «Claude Code позволял принимать как тактические, так и стратегические решения, например, решать, какие данные изымать и как составлять психологически ориентированные требования для вымогательства».
С момента введения магистерских программ магистратуры (LLM) возникли опасения, что киберпреступные организации могут использовать их для поддержки или усиления своей деятельности. При администрации Байдена компании, занимающиеся разработкой ИИ, приложили все усилия, чтобы убедить политиков в необходимости создания технических барьеров для предотвращения прямого злоупотребления или использования их моделей для кибератак.
Однако в последний год администрация Трампа дала понять, что безопасность ИИ не является главным приоритетом. Вместо этого она сосредоточена на устранении нормативных барьеров, чтобы американские компании в сфере ИИ могли конкурировать с Китаем и другими глобальными конкурентами за доминирование на рынке.
С тех пор исследователи обнаружили, что в последних моделях ИИ, выпущенных такими компаниями, как OpenAI и xAI, практически отсутствуют функции безопасности по умолчанию, их можно легко взломать с помощью элементарных атак с подсказками, и для предотвращения утечки данных, несанкционированного извлечения данных и других распространенных уязвимостей требуются специальные подсказки безопасности на внешнем интерфейсе.
В прошлом месяце исследователи ESET заявили об обнаружении первого в мире образца «программы-вымогателя на базе искусственного интеллекта», указав на код, найденный на VirusTotal. Код, написанный на Golang и получивший название «PromptLock», также включал инструкции для версии OpenAI ChatGPT с открытым исходным кодом для выполнения ряда задач, таких как проверка файловых систем, кража данных и написание записок с требованием выкупа.
Исследователи ESET сообщили CyberScoop, что код, по всей видимости, незакончен или представляет собой лишь прототип. Кроме информации о том, что он был загружен пользователем из США, у компании не было никакой дополнительной информации о происхождении вредоносного ПО.
Теперь исследователи из Школы инженерии Тандон при Нью-Йоркском университете подтвердили, что они создали код в рамках проекта, призванного проиллюстрировать потенциальный вред вредоносного ПО на базе искусственного интеллекта.
В соответствующей научной статье исследователи называют проект «Программой-вымогателем 3.0» и описывают его как новый метод атаки. Этот метод «использует большие языковые модели (LLM) для автономного планирования, адаптации и реализации жизненного цикла атаки программы-вымогателя».
«В отличие от обычного вредоносного ПО, прототипу требуются только подсказки на естественном языке, встроенные в двоичный файл; вредоносный код динамически синтезируется LLM во время выполнения, создавая полиморфные варианты, адаптирующиеся к среде выполнения», — пишут авторы. «Система осуществляет разведку, генерацию полезной нагрузки и персонализированное вымогательство в рамках замкнутой кампании атаки без участия человека».
По словам Лии Шмерл, специалиста по связям с общественностью Нью-Йоркского университета, проект возглавляет профессор Нью-Йоркского университета Рамеш Карри и группа исследователей, имеющих докторскую и постдокторскую степень. Исследование финансируется грантом Министерства энергетики США, Национального научного фонда и Отдела науки, технологий и инноваций корпорации Empire State Development в Нью-Йорке.
Мд Раз, аспирант Нью-Йоркского университета и ведущий автор статьи, рассказал CyberScoop, что команда загрузила свое доказательство концепции на VirusTotal во время финальных процедур тестирования, и ESET обнаружила его, не зная его академического происхождения.
Раз сказал, что основной мотивацией проекта была уверенность команды в том, что «программы-вымогатели становятся все более опасными, они используют множество новых технологий, таких как передовое шифрование… и в то же время мы видим, что искусственный интеллект становится все более совершенным».
«На пересечении всего этого мы считаем, что существует действительно серьезная угроза, которая еще не была обнаружена в дикой природе, поэтому мы приступили к [исследованию] того, является ли эта угроза реальной», — добавил он.
Раз рассказал, что команда создала программу с использованием программного обеспечения с открытым исходным кодом, арендованного стандартного оборудования и «пары графических процессоров». Он описал несколько особенностей Ransomware 3.0 и объяснил, как использование LLM создаёт уникальные проблемы безопасности для специалистов по безопасности, особенно при обнаружении. Используемые им подсказки на естественном языке полиморфны, то есть каждый раз генерируется «совершенно другой код» с разным временем выполнения, телеметрией и другими функциями, которые могут значительно затруднить отслеживание в рамках нескольких инцидентов.
Он сообщил, что команда скрыла от общественности значительное количество артефактов, необходимых для оценки вируса-вымогателя, таких как скрипты, JSON-запросы к LLM и поведенческие сигналы, опасаясь, что злоумышленники могут воспользоваться ими. Команда планирует представить более подробную информацию о своём исследовании на предстоящих конференциях.
Позднее компания ESET обновила свои исследования и публикации в социальных сетях , отметив, что вредоносную программу создали исследователи Нью-Йоркского университета, однако заявила, что остается при своих первоначальных выводах.
«Это подтверждает нашу уверенность в том, что это была лишь проверка концепции, а не полноценное вредоносное ПО, развёрнутое в реальных условиях», — заявила компания в обновлении блога исследователя Черепанова, посвящённом PromptLock. «Тем не менее, наши выводы остаются верными — обнаруженные образцы представляют собой первый известный случай использования программы-вымогателя с использованием ИИ».
Это утверждение поддержали исследователи из Нью-Йоркского университета, которые написали: «Насколько нам известно, мы являемся первой работой, демонстрирующей полностью замкнутую схему атаки с использованием вируса-вымогателя, организованную LLM, с целевой нагрузкой и персонализированной тактикой вымогательства, а также комплексную поведенческую оценку для содействия будущим средствам защиты».
Но хотя открытие ESET и последовавшие за ним сообщения в СМИ сдвинули сроки объявления проекта, Раз заявил, что исследовательская группа не расстроена неожиданным вниманием, которое ей оказали.
«Думаю, нам определённо повезло, что мы опубликовали двоичный файл [в VirusTotal]», — сказал он, отметив, что код не был специально разработан для того, чтобы выделяться, и избегал обнаружения всеми основными антивирусами. «Довольно хорошо, что все начали активно говорить об этом и о средствах защиты от него, потому что подобные технологии никогда ранее не публиковались, и тот факт, что это было представлено как нечто реально существующее, действительно обеспечил широкий охват».
Хотя академический характер вредоносного ПО может служить подтверждением этих утверждений, Ransomware 3.0 — один из многочисленных примеров, опубликованных за последний месяц и подробно демонстрирующих, как LLM могут довольно легко использоваться в качестве помощников по вымогательству для низкоквалифицированных технических злоумышленников, используя относительно простые подсказки.
В прошлом месяце компания Anthropic сообщила о недавнем обнаружении киберпреступника, использовавшего принадлежащую компании степень магистра права Claude в «беспрецедентных масштабах» для совершения «кражи и вымогательства персональных данных в особо крупных масштабах». В отчёте об угрозах подробно описывается поведение Claude, схожее с тем, что описывают Нью-Йоркский университет и ESET. Злоумышленник нацелился как минимум на 17 различных организаций здравоохранения, правительства, экстренных служб и религиозных организаций.
«Claude Code использовался для автоматизации разведки, сбора учетных данных жертв и проникновения в сети», — писали специалисты по безопасности Anthropic. «Claude Code позволял принимать как тактические, так и стратегические решения, например, решать, какие данные изымать и как составлять психологически ориентированные требования для вымогательства».
С момента введения магистерских программ магистратуры (LLM) возникли опасения, что киберпреступные организации могут использовать их для поддержки или усиления своей деятельности. При администрации Байдена компании, занимающиеся разработкой ИИ, приложили все усилия, чтобы убедить политиков в необходимости создания технических барьеров для предотвращения прямого злоупотребления или использования их моделей для кибератак.
Однако в последний год администрация Трампа дала понять, что безопасность ИИ не является главным приоритетом. Вместо этого она сосредоточена на устранении нормативных барьеров, чтобы американские компании в сфере ИИ могли конкурировать с Китаем и другими глобальными конкурентами за доминирование на рынке.
С тех пор исследователи обнаружили, что в последних моделях ИИ, выпущенных такими компаниями, как OpenAI и xAI, практически отсутствуют функции безопасности по умолчанию, их можно легко взломать с помощью элементарных атак с подсказками, и для предотвращения утечки данных, несанкционированного извлечения данных и других распространенных уязвимостей требуются специальные подсказки безопасности на внешнем интерфейсе.
