ЛАС-ВЕГАС — Пентагон стал на шаг ближе к созданию автономных механизмов, способных находить и устранять уязвимости в цифровой среде мира, — и все, что для этого потребовалось, — это несколько миллионов долларов и конкурс с участием лучших и самых умных участников хакерского летнего лагеря.
На конференции DEF CON, состоявшейся в эти выходные, Агентство перспективных исследовательских проектов Министерства обороны США (DEF CON) собрало 90 команд и предложило им создать автономных агентов для анализа баз открытого исходного кода, поиска уязвимостей и их автоматического устранения. Создание технологий, способных на это, – настоящий кит в развитии ИИ: крайне сложнодостижимый технологический прорыв, способный обеспечить колоссальный прогресс в области кибербезопасности.
Смогут ли участники Artificial Intelligence Cyber Challenge создать такой инструмент, пока неясно, но прошедшие на этих выходных соревнования продемонстрировали положительные признаки того, что последние инновации в области искусственного интеллекта могут обеспечить такой прорыв.
В итоге 90 участников смогли найти 22 уникальные уязвимости в крупных программах с открытым исходным кодом, таких как ядро Linux, и автоматически закрыли 15 из них. Одна команда показала ещё более удивительный результат, обнаружив новую уязвимость в одной из самых популярных программ с открытым исходным кодом. Проект Atlantis команды Atlanta обнаружил ранее не обнаруженную уязвимость в программе управления базами данных SQLite — одной из самых используемых библиотек баз данных в мире.
«Главная идея конкурса заключается в том, что ИИ может сыграть фундаментальную роль. Он может стать революционным дополнением к существующим методам анализа программ для поиска и устранения уязвимостей», — заявил в воскресенье Перри Адамс, специальный помощник директора DARPA, курировавший конкурс.
Двухлетний конкурс, стартовавший в прошлом году на DEF CON, вывел семь команд в финальный раунд, в котором им будет поручено создать инструменты на базе искусственного интеллекта, которые смогут автоматически находить уязвимости и устранять их.
На данный момент в критически важных системах ошибок больше, чем людей, способных их найти и исправить. Пентагон делает ставку на то, что инструменты на базе искусственного интеллекта смогут найти и исправить эти уязвимости, а также решить проблему ограниченности ресурсов.
Семь команд-полуфиналистов — 42-b3yond-6ug, all_you_need_is_a_fuzzing_brain, Lacrosse, Shellphish, Team Atlanta, Theori и Trail of Bits — выиграли призовой фонд в размере 2 миллионов долларов. Модели для конкурса предоставили Microsoft, Google, Anthropic и OpenAI. Финалисты должны до следующего года разработать свои системы искусственного интеллекта перед финальным состязанием на DEF CON в следующем году. Общий призовой фонд конкурса составит 29,5 миллионов долларов.
Один из полуфиналистов, Trail of Bits, в 2016 году участвовал в другом конкурсе DARPA, который считается его предшественником — Cyber Grand Challenge , — который также преследовал цель автоматического устранения уязвимостей.
«Слишком много кода приходится просматривать, и его слишком сложно обработать, чтобы обнаружить все разбросанные уязвимости», — сказал Дэн Гвидо, генеральный директор и основатель компании Trail of Bits, занимающейся кибербезопасностью. «ИИ — это возможность, которая может помочь нам в поиске и устранении проблем безопасности, которые сейчас широко распространены и их число постоянно растёт».
Задания конкурса были сосредоточены на известных программах с открытым исходным кодом, таких как ядро Linux, СУБД SQLite и платформа автоматизации Jenkins на Java, среди прочих. Эти программы были полны уязвимостей, которые участники должны были найти.
«Это не хакатон. Это не героические усилия одного человека. Это действительно сложная задача со множеством деталей, и требуется масса усилий, чтобы всё правильно собрать», — сказал Гвидо.
По словам Гвидо, использование ИИ для решения проблемы уязвимостей имеет ряд преимуществ. Командам пришлось разработать систему киберанализа, которая использовала бы существующие программы для анализа и поиска уязвимостей в миллионах строк кода.
Конкурс также требует создания «доказательства уязвимости», которое гарантирует, что обнаруженная уязвимость реальна, а не является галлюцинацией, созданной вероятностной программой.
Гвидо отметил, что есть и другие сложности. Убедить ИИ изначально находить уязвимости может быть непросто, поскольку в моделях, предоставляемых командам, заложены этические ограничения.
Еще одна задача — предоставить программе искусственного интеллекта достаточно автономии, чтобы она могла работать без вмешательства человека и не вызывать глобальной катастрофы из-за неправильного исправления.
Организаторы конкурса надеются, что инструменты, созданные участниками, могут быть применены к библиотекам программного обеспечения с открытым исходным кодом, а технологии, созданные в ходе конкурса, будут представлены в виде проектов с открытым исходным кодом на конференции DEF CON в следующем году.
«Мы надеемся, что это приведёт к снижению уязвимости поставляемых продуктов. Существует множество широко распространённых программ, и мы хотим, чтобы они были максимально безопасными и трудно поддающимися взлому», — сказал Дэвид Уилер, директор по безопасности цепочки поставок ПО с открытым исходным кодом в Open Source Security Foundation. «Даже простая публикация [кода] может быть полезным способом улучшить эти продукты».
Обеспечение безопасности ПО с открытым исходным кодом стало одним из главных приоритетов администрации Байдена. В пятницу Управление национального кибердиректора опубликовало доклад, содержащий сводку рекомендаций специалистов по безопасности по повышению безопасности ПО с открытым исходным кодом. Министерство внутренней безопасности также открывает офис , который будет изучать уязвимости ПО с открытым исходным кодом, обнаруженные в критически важной инфраструктуре, например, в сфере энергетики и водоснабжени
На конференции DEF CON, состоявшейся в эти выходные, Агентство перспективных исследовательских проектов Министерства обороны США (DEF CON) собрало 90 команд и предложило им создать автономных агентов для анализа баз открытого исходного кода, поиска уязвимостей и их автоматического устранения. Создание технологий, способных на это, – настоящий кит в развитии ИИ: крайне сложнодостижимый технологический прорыв, способный обеспечить колоссальный прогресс в области кибербезопасности.
Смогут ли участники Artificial Intelligence Cyber Challenge создать такой инструмент, пока неясно, но прошедшие на этих выходных соревнования продемонстрировали положительные признаки того, что последние инновации в области искусственного интеллекта могут обеспечить такой прорыв.
В итоге 90 участников смогли найти 22 уникальные уязвимости в крупных программах с открытым исходным кодом, таких как ядро Linux, и автоматически закрыли 15 из них. Одна команда показала ещё более удивительный результат, обнаружив новую уязвимость в одной из самых популярных программ с открытым исходным кодом. Проект Atlantis команды Atlanta обнаружил ранее не обнаруженную уязвимость в программе управления базами данных SQLite — одной из самых используемых библиотек баз данных в мире.
«Главная идея конкурса заключается в том, что ИИ может сыграть фундаментальную роль. Он может стать революционным дополнением к существующим методам анализа программ для поиска и устранения уязвимостей», — заявил в воскресенье Перри Адамс, специальный помощник директора DARPA, курировавший конкурс.
Двухлетний конкурс, стартовавший в прошлом году на DEF CON, вывел семь команд в финальный раунд, в котором им будет поручено создать инструменты на базе искусственного интеллекта, которые смогут автоматически находить уязвимости и устранять их.
На данный момент в критически важных системах ошибок больше, чем людей, способных их найти и исправить. Пентагон делает ставку на то, что инструменты на базе искусственного интеллекта смогут найти и исправить эти уязвимости, а также решить проблему ограниченности ресурсов.
Семь команд-полуфиналистов — 42-b3yond-6ug, all_you_need_is_a_fuzzing_brain, Lacrosse, Shellphish, Team Atlanta, Theori и Trail of Bits — выиграли призовой фонд в размере 2 миллионов долларов. Модели для конкурса предоставили Microsoft, Google, Anthropic и OpenAI. Финалисты должны до следующего года разработать свои системы искусственного интеллекта перед финальным состязанием на DEF CON в следующем году. Общий призовой фонд конкурса составит 29,5 миллионов долларов.
Один из полуфиналистов, Trail of Bits, в 2016 году участвовал в другом конкурсе DARPA, который считается его предшественником — Cyber Grand Challenge , — который также преследовал цель автоматического устранения уязвимостей.
«Слишком много кода приходится просматривать, и его слишком сложно обработать, чтобы обнаружить все разбросанные уязвимости», — сказал Дэн Гвидо, генеральный директор и основатель компании Trail of Bits, занимающейся кибербезопасностью. «ИИ — это возможность, которая может помочь нам в поиске и устранении проблем безопасности, которые сейчас широко распространены и их число постоянно растёт».
Задания конкурса были сосредоточены на известных программах с открытым исходным кодом, таких как ядро Linux, СУБД SQLite и платформа автоматизации Jenkins на Java, среди прочих. Эти программы были полны уязвимостей, которые участники должны были найти.
«Это не хакатон. Это не героические усилия одного человека. Это действительно сложная задача со множеством деталей, и требуется масса усилий, чтобы всё правильно собрать», — сказал Гвидо.
По словам Гвидо, использование ИИ для решения проблемы уязвимостей имеет ряд преимуществ. Командам пришлось разработать систему киберанализа, которая использовала бы существующие программы для анализа и поиска уязвимостей в миллионах строк кода.
Конкурс также требует создания «доказательства уязвимости», которое гарантирует, что обнаруженная уязвимость реальна, а не является галлюцинацией, созданной вероятностной программой.
Гвидо отметил, что есть и другие сложности. Убедить ИИ изначально находить уязвимости может быть непросто, поскольку в моделях, предоставляемых командам, заложены этические ограничения.
Еще одна задача — предоставить программе искусственного интеллекта достаточно автономии, чтобы она могла работать без вмешательства человека и не вызывать глобальной катастрофы из-за неправильного исправления.
Организаторы конкурса надеются, что инструменты, созданные участниками, могут быть применены к библиотекам программного обеспечения с открытым исходным кодом, а технологии, созданные в ходе конкурса, будут представлены в виде проектов с открытым исходным кодом на конференции DEF CON в следующем году.
«Мы надеемся, что это приведёт к снижению уязвимости поставляемых продуктов. Существует множество широко распространённых программ, и мы хотим, чтобы они были максимально безопасными и трудно поддающимися взлому», — сказал Дэвид Уилер, директор по безопасности цепочки поставок ПО с открытым исходным кодом в Open Source Security Foundation. «Даже простая публикация [кода] может быть полезным способом улучшить эти продукты».
Обеспечение безопасности ПО с открытым исходным кодом стало одним из главных приоритетов администрации Байдена. В пятницу Управление национального кибердиректора опубликовало доклад, содержащий сводку рекомендаций специалистов по безопасности по повышению безопасности ПО с открытым исходным кодом. Министерство внутренней безопасности также открывает офис , который будет изучать уязвимости ПО с открытым исходным кодом, обнаруженные в критически важной инфраструктуре, например, в сфере энергетики и водоснабжени
