Программное обеспечение управляет миром, и вскоре большую часть работы, обеспечивающей его функционирование, могут выполнять машины.
По мере того, как инструменты генеративного ИИ стали более эффективными в программировании, их применение в разработке программного обеспечения резко возросло. Сторонники утверждают, что эти инструменты значительно упростили для индивидуальных предпринимателей и компаний создание стильных, профессионально оформленных веб-сайтов и приложений, которые раньше были доступны только многомиллионам компаний, и при этом значительно сократили расходы.
Однако во многих случаях такой подход к разработке программного обеспечения с использованием ИИ, по-видимому, влечет за собой реальные компромиссы в плане безопасности.
«Vibe-кодирование» в широком смысле определяется как доверие к способности ИИ корректно разрабатывать программное обеспечение. По сути, это означает, что разработчик «забывает о существовании кода», оставляя большую часть работы ИИ, в то время как человек сосредотачивается на решении более абстрактных или высокоуровневых задач.
Эксперты по-прежнему глубоко обеспокоены уязвимостями кибербезопасности, присущими кодингу на основе вибрации. Однако практически все, с кем CyberScoop пообщался для этой статьи, сошлись во мнении: независимо от их отношения к целесообразности этой практики, программное обеспечение, частично или полностью созданное с помощью ИИ, никуда не денется.
Инструменты LLM просты в использовании и настолько широко распространены, что проблемы безопасности вряд ли снизят темпы развития, поскольку технология позволяет пользователям с небольшим техническим опытом создавать целые веб-сайты или приложения всего за несколько подсказок. Кейси Эллис, основатель и консультант Bugcrowd, назвал широкое внедрение кодинга в стиле «вайб» «неизбежным», хотя и признаёт потенциальные проблемы безопасности.
«Для меня это просто своего рода марш технологий, точка», — сказал Эллис. «Я думаю, что это в принципе хорошо, потому что… это даёт большему количеству людей возможность заниматься разработкой чего-то нового, и чем больше идей будет открыто, тем лучше для всех, верно?»
По его словам, обратная сторона медали заключается в том, что «скорость — естественный враг качества, безопасности и масштабируемости» при разработке программного обеспечения.
Он также предположил, что программное обеспечение, созданное до появления генеративного ИИ, где работники обычно имеют высокую рабочую нагрузку и должны укладываться в нереалистичные сроки, не доказало в полной мере, что код, написанный исключительно людьми, автоматически приводит к созданию более безопасного программного обеспечения.
Хотя безопасные методы программирования важны, общая поверхность атак на программное обеспечение является вероятностной функцией количества строк кода, существующих в мире. Что действительно хорошо получается у LLM, отметил Эллис, так это «помогать людям очень быстро генерировать множество строк кода».
Многие источники, с которыми пообщался CyberScoop, увидели разницу между использованием помощника-кодировщика на основе ИИ в процессе разработки и кодированием вибраций.
Первый подход быстро становится стандартной практикой в мире разработки программного обеспечения. Опрос GitHub, проведённый в 2024 году среди 2000 программистов из четырёх стран, показал, что 97% из них используют инструменты ИИ-кодирования в своей работе.
Джек Кейбл, покинувший Агентство кибербезопасности и безопасности инфраструктуры в начале этого года, чтобы основать стартап Corridor, специализирующийся на добавлении дополнительных уровней безопасности к приложениям, написанным на основе ИИ, рассказал CyberScoop, что за последний год он «определённо» заметил рост числа проектов как с использованием ИИ, так и с использованием виброкода. Это особенно актуально для стартапов и технологической сферы, где, по его словам, люди, как правило, более ориентированы на ИИ.
«Есть любители, которые используют некоторые из этих инструментов для создания веб-сайтов, вообще не умея программировать... а есть и другие инструменты для разработки искусственного интеллекта, такие как Cursor, Copilot и некоторые другие, которые в большей степени внедряются компаниями», — сказал он.
В опросе GitHub качество кода, сгенерированного ИИ, было названо одним из основных преимуществ, наряду с эффективностью, простотой и возможностью использовать незнакомые языки программирования.
По данным Microsoft, GitHub Copilot используют не менее 50 000 организаций и более миллиона разработчиков. Другие технологические гиганты, такие как OpenAI, Google и Amazon, внедрили собственные модели программирования, в то время как более мелкие компании, такие как Cursor , Bolt , Lovable и другие, заполонили рынок недорогим программным обеспечением для генеративного ИИ.
Несмотря на обеспокоенность по поводу безопасности в других кругах, почти все программисты, участвовавшие в опросе GitHub (99–100%), ожидали, что внедрение ИИ приведет к созданию более безопасного программного обеспечения в целом.
Опрос 2000 программистов, проведённый в 2024 году, выявил практически всеобщее ожидание того, что ИИ повысит безопасность программного обеспечения. (Источник: GitHub)
Но эти настроения контрастируют с другими исследованиями и данными, которые выявили серьезные проблемы безопасности в коде, сгенерированном LLM, а также с отдельными историями о проектах, которые почти полностью полагались на код, сгенерированный ИИ, но их веб-сайты и приложения быстро скомпрометировались из-за очевидных низкоуровневых уязвимостей в коде.
Во-первых, независимые исследователи безопасности оспорили исследования Microsoft и GitHub, демонстрирующие значительное улучшение качества кода. Дэн Кымпиану, разработчик программного обеспечения и скептик в отношении возможностей генеративного ИИ в программировании, отметил , что исследование, по всей видимости, склонило чашу весов в пользу Copilot, основываясь на результатах тестирования на задаче — написании конечных точек API для веб-сервера, — которую он назвал «одним из самых скучных, повторяющихся, неинтересных и когнитивно неисследованных аспектов разработки».
Это всего лишь один из нескольких примеров того, что Чимпиану охарактеризовал как существенные неточности и чрезмерные преувеличения относительно уровня владения ИИ-кодом в исследовании, включая случаи, когда графики в исследовании GitHub — вероятно, сгенерированные LLM — не в сумме составляли 100%.
Примечательно, что энтузиазм по поводу интеграции большего количества инструментов ИИ в рабочий процесс и вера в то, что это упростит обеспечение безопасности, исходят в гораздо большей степени от руководителей высшего звена, чем от специалистов по безопасности, которые по-прежнему настроены крайне скептически, согласно исследованию Exabeam, опубликованному в апреле.
Руководители значительно чаще, чем аналитики и специалисты, верят, что ИИ повысит уровень кибербезопасности (Источник: Exabeam)
Но другие обнаружили более сдержанный эффект. На конференции по кибербезопасности Black Hat 2024 года главный технический директор Veracode Крис Уайсопал рассказал TechTarget , что 41% кода, сгенерированного ИИ, содержит уязвимости безопасности, что сопоставимо с большей частью кода, созданного человеком.
Эллис отметил, что история программирования — это история постоянных технологических инноваций, которые делают этот процесс проще и доступнее для людей, начиная с первых дней ассемблера и машинного кода и до разработки Грейс Хоппер первого компилятора . С этой точки зрения, программирование LLM — это лишь последний шаг на пути к снижению барьера для входа.
Кейбл заявил, что, хотя он и не думает, что помощники по кодированию на основе ИИ «оставят разработчиков программного обеспечения без работы», он полагает, что «здесь есть большой потенциал для движения в будущее, где код по умолчанию будет более безопасным».
«Но я думаю, что для этого нужно проделать реальную работу», — сказал он.
Проблема в том, что современные технологии программирования ИИ совершенно не готовы к выполнению столь важной задачи разработки программного обеспечения. BaxBench , бенчмарк, созданный группой разработчиков для оценки кода, сгенерированного LLM, обнаружил, что практически все основные коммерческие и открытые модели, доступные сегодня, крайне ненадёжны с точки зрения создания безопасного и готового к развертыванию кода.
Например, 62% программного обеспечения, созданного ведущими моделями LLM, было либо некорректным, либо содержало уязвимости безопасности. Примерно половина сгенерированного кода, работавшего корректно, также содержала уязвимости, которые можно было эксплуатировать.
Современные LLM создают работоспособный и безопасный код менее чем за половину времени без дополнительных подсказок по безопасности. (Источник: BaxBench)
Даже предоставление более конкретных инструкций по безопасности во время подсказок, которые были разработаны «нереальным оракулом, который предвидит все подводные камни безопасности», оказало ограниченное влияние на эту проблему.
Расширенные запросы безопасности приводят лишь к незначительным улучшениям в безопасном и работоспособном коде, сгенерированном LLM (Источник: BaxBench)
У людей, которым поручено контролировать и управлять проектами по разработке программного обеспечения, создаваемыми на уровне магистра права, дела обстоят не намного лучше.
Поскольку LLM обучаются на обширных репозиториях кода, созданного человеком, они склонны воспроизводить многие из тех же уязвимостей в своих продуктах. Эллис отметил, что одно из существенных различий между приложениями, написанными с помощью Vibe, и приложениями, созданными человеком, заключается в том, что «многие артефакты остаются и потенциально уязвимы, но также могут определённо предупредить того, кто проводит атаку, основанную на коде».
Другими словами, обладатели степени магистра права иногда могут проектировать или структурировать свой программный код способами, которые большинство людей не стали бы использовать, что делает их уязвимыми для новых видов атак.
В апреле в Польше на хакатоне приняли участие 40 команд, создавших программные решения на основе ИИ-агентов, которые были проверены на наличие уязвимостей в коде и рабочем процессе. Подавляющее большинство (80%) выпустило готовые приложения без добавления каких-либо дополнительных мер безопасности, помимо тех, что уже были предусмотрены в рамках программы LLM. Некоторые команды отказались от использования простых реализаций для агентов OpenAI, способных выявлять потенциальные уязвимости или слабые места, поскольку это снижало точность программы LLM и блокировало слишком много действий.
«Это может привести к тому, что многие команды намеренно отдадут предпочтение безопасности в пользу более удобного пользовательского опыта или более быстрого создания прототипов», — написали Дориан Граноша и Анте Гойсалич из компании SplxAI, которая выступила спонсором мероприятия и предоставила свой агентский радар для оценки предложений команды.
Сторонники будущего, основанного на виброкодировании, часто утверждают, что при правильном использовании инструменты ИИ могут значительно улучшить процесс программирования, в том числе в плане безопасности. Беспокойство вызывает тот факт, что число осторожных пользователей, вероятно, гораздо меньше числа тех, кто использует эти инструменты, не задумываясь о безопасности.
Кейбл считает, что оптимальным решением для мира, наполненного ошибками, создаваемыми как ИИ, так и человеком, является обновление инструментов разработки и безопасности программного обеспечения с учётом этой новой реальности. Он считает, что существующие инструменты безопасности не поспевают за темпами разработки программного кода, создаваемого ИИ, и что многим разработчикам ПО не хватает подготовки для самостоятельной разработки безопасного кода.
«Я думаю, что этим инструментам разработки действительно следует уделять первостепенное внимание и убедиться, что при генерации кода они исходят из того, что пользователь не очень технически подкован, не имеет ресурсов для выявления ошибок и добавления дополнительных мер безопасности», — сказал он.
По мере того, как инструменты генеративного ИИ стали более эффективными в программировании, их применение в разработке программного обеспечения резко возросло. Сторонники утверждают, что эти инструменты значительно упростили для индивидуальных предпринимателей и компаний создание стильных, профессионально оформленных веб-сайтов и приложений, которые раньше были доступны только многомиллионам компаний, и при этом значительно сократили расходы.
Однако во многих случаях такой подход к разработке программного обеспечения с использованием ИИ, по-видимому, влечет за собой реальные компромиссы в плане безопасности.
«Vibe-кодирование» в широком смысле определяется как доверие к способности ИИ корректно разрабатывать программное обеспечение. По сути, это означает, что разработчик «забывает о существовании кода», оставляя большую часть работы ИИ, в то время как человек сосредотачивается на решении более абстрактных или высокоуровневых задач.
Эксперты по-прежнему глубоко обеспокоены уязвимостями кибербезопасности, присущими кодингу на основе вибрации. Однако практически все, с кем CyberScoop пообщался для этой статьи, сошлись во мнении: независимо от их отношения к целесообразности этой практики, программное обеспечение, частично или полностью созданное с помощью ИИ, никуда не денется.
Инструменты LLM просты в использовании и настолько широко распространены, что проблемы безопасности вряд ли снизят темпы развития, поскольку технология позволяет пользователям с небольшим техническим опытом создавать целые веб-сайты или приложения всего за несколько подсказок. Кейси Эллис, основатель и консультант Bugcrowd, назвал широкое внедрение кодинга в стиле «вайб» «неизбежным», хотя и признаёт потенциальные проблемы безопасности.
«Для меня это просто своего рода марш технологий, точка», — сказал Эллис. «Я думаю, что это в принципе хорошо, потому что… это даёт большему количеству людей возможность заниматься разработкой чего-то нового, и чем больше идей будет открыто, тем лучше для всех, верно?»
По его словам, обратная сторона медали заключается в том, что «скорость — естественный враг качества, безопасности и масштабируемости» при разработке программного обеспечения.
Он также предположил, что программное обеспечение, созданное до появления генеративного ИИ, где работники обычно имеют высокую рабочую нагрузку и должны укладываться в нереалистичные сроки, не доказало в полной мере, что код, написанный исключительно людьми, автоматически приводит к созданию более безопасного программного обеспечения.
Хотя безопасные методы программирования важны, общая поверхность атак на программное обеспечение является вероятностной функцией количества строк кода, существующих в мире. Что действительно хорошо получается у LLM, отметил Эллис, так это «помогать людям очень быстро генерировать множество строк кода».
Многие источники, с которыми пообщался CyberScoop, увидели разницу между использованием помощника-кодировщика на основе ИИ в процессе разработки и кодированием вибраций.
Первый подход быстро становится стандартной практикой в мире разработки программного обеспечения. Опрос GitHub, проведённый в 2024 году среди 2000 программистов из четырёх стран, показал, что 97% из них используют инструменты ИИ-кодирования в своей работе.
Джек Кейбл, покинувший Агентство кибербезопасности и безопасности инфраструктуры в начале этого года, чтобы основать стартап Corridor, специализирующийся на добавлении дополнительных уровней безопасности к приложениям, написанным на основе ИИ, рассказал CyberScoop, что за последний год он «определённо» заметил рост числа проектов как с использованием ИИ, так и с использованием виброкода. Это особенно актуально для стартапов и технологической сферы, где, по его словам, люди, как правило, более ориентированы на ИИ.
«Есть любители, которые используют некоторые из этих инструментов для создания веб-сайтов, вообще не умея программировать... а есть и другие инструменты для разработки искусственного интеллекта, такие как Cursor, Copilot и некоторые другие, которые в большей степени внедряются компаниями», — сказал он.
В опросе GitHub качество кода, сгенерированного ИИ, было названо одним из основных преимуществ, наряду с эффективностью, простотой и возможностью использовать незнакомые языки программирования.
По данным Microsoft, GitHub Copilot используют не менее 50 000 организаций и более миллиона разработчиков. Другие технологические гиганты, такие как OpenAI, Google и Amazon, внедрили собственные модели программирования, в то время как более мелкие компании, такие как Cursor , Bolt , Lovable и другие, заполонили рынок недорогим программным обеспечением для генеративного ИИ.
Несмотря на обеспокоенность по поводу безопасности в других кругах, почти все программисты, участвовавшие в опросе GitHub (99–100%), ожидали, что внедрение ИИ приведет к созданию более безопасного программного обеспечения в целом.
Но эти настроения контрастируют с другими исследованиями и данными, которые выявили серьезные проблемы безопасности в коде, сгенерированном LLM, а также с отдельными историями о проектах, которые почти полностью полагались на код, сгенерированный ИИ, но их веб-сайты и приложения быстро скомпрометировались из-за очевидных низкоуровневых уязвимостей в коде.
Во-первых, независимые исследователи безопасности оспорили исследования Microsoft и GitHub, демонстрирующие значительное улучшение качества кода. Дэн Кымпиану, разработчик программного обеспечения и скептик в отношении возможностей генеративного ИИ в программировании, отметил , что исследование, по всей видимости, склонило чашу весов в пользу Copilot, основываясь на результатах тестирования на задаче — написании конечных точек API для веб-сервера, — которую он назвал «одним из самых скучных, повторяющихся, неинтересных и когнитивно неисследованных аспектов разработки».
Это всего лишь один из нескольких примеров того, что Чимпиану охарактеризовал как существенные неточности и чрезмерные преувеличения относительно уровня владения ИИ-кодом в исследовании, включая случаи, когда графики в исследовании GitHub — вероятно, сгенерированные LLM — не в сумме составляли 100%.
Примечательно, что энтузиазм по поводу интеграции большего количества инструментов ИИ в рабочий процесс и вера в то, что это упростит обеспечение безопасности, исходят в гораздо большей степени от руководителей высшего звена, чем от специалистов по безопасности, которые по-прежнему настроены крайне скептически, согласно исследованию Exabeam, опубликованному в апреле.
Но другие обнаружили более сдержанный эффект. На конференции по кибербезопасности Black Hat 2024 года главный технический директор Veracode Крис Уайсопал рассказал TechTarget , что 41% кода, сгенерированного ИИ, содержит уязвимости безопасности, что сопоставимо с большей частью кода, созданного человеком.
Эллис отметил, что история программирования — это история постоянных технологических инноваций, которые делают этот процесс проще и доступнее для людей, начиная с первых дней ассемблера и машинного кода и до разработки Грейс Хоппер первого компилятора . С этой точки зрения, программирование LLM — это лишь последний шаг на пути к снижению барьера для входа.
Кейбл заявил, что, хотя он и не думает, что помощники по кодированию на основе ИИ «оставят разработчиков программного обеспечения без работы», он полагает, что «здесь есть большой потенциал для движения в будущее, где код по умолчанию будет более безопасным».
«Но я думаю, что для этого нужно проделать реальную работу», — сказал он.
Проблема в том, что современные технологии программирования ИИ совершенно не готовы к выполнению столь важной задачи разработки программного обеспечения. BaxBench , бенчмарк, созданный группой разработчиков для оценки кода, сгенерированного LLM, обнаружил, что практически все основные коммерческие и открытые модели, доступные сегодня, крайне ненадёжны с точки зрения создания безопасного и готового к развертыванию кода.
Например, 62% программного обеспечения, созданного ведущими моделями LLM, было либо некорректным, либо содержало уязвимости безопасности. Примерно половина сгенерированного кода, работавшего корректно, также содержала уязвимости, которые можно было эксплуатировать.
Даже предоставление более конкретных инструкций по безопасности во время подсказок, которые были разработаны «нереальным оракулом, который предвидит все подводные камни безопасности», оказало ограниченное влияние на эту проблему.
У людей, которым поручено контролировать и управлять проектами по разработке программного обеспечения, создаваемыми на уровне магистра права, дела обстоят не намного лучше.
Поскольку LLM обучаются на обширных репозиториях кода, созданного человеком, они склонны воспроизводить многие из тех же уязвимостей в своих продуктах. Эллис отметил, что одно из существенных различий между приложениями, написанными с помощью Vibe, и приложениями, созданными человеком, заключается в том, что «многие артефакты остаются и потенциально уязвимы, но также могут определённо предупредить того, кто проводит атаку, основанную на коде».
Другими словами, обладатели степени магистра права иногда могут проектировать или структурировать свой программный код способами, которые большинство людей не стали бы использовать, что делает их уязвимыми для новых видов атак.
В апреле в Польше на хакатоне приняли участие 40 команд, создавших программные решения на основе ИИ-агентов, которые были проверены на наличие уязвимостей в коде и рабочем процессе. Подавляющее большинство (80%) выпустило готовые приложения без добавления каких-либо дополнительных мер безопасности, помимо тех, что уже были предусмотрены в рамках программы LLM. Некоторые команды отказались от использования простых реализаций для агентов OpenAI, способных выявлять потенциальные уязвимости или слабые места, поскольку это снижало точность программы LLM и блокировало слишком много действий.
«Это может привести к тому, что многие команды намеренно отдадут предпочтение безопасности в пользу более удобного пользовательского опыта или более быстрого создания прототипов», — написали Дориан Граноша и Анте Гойсалич из компании SplxAI, которая выступила спонсором мероприятия и предоставила свой агентский радар для оценки предложений команды.
Сторонники будущего, основанного на виброкодировании, часто утверждают, что при правильном использовании инструменты ИИ могут значительно улучшить процесс программирования, в том числе в плане безопасности. Беспокойство вызывает тот факт, что число осторожных пользователей, вероятно, гораздо меньше числа тех, кто использует эти инструменты, не задумываясь о безопасности.
Кейбл считает, что оптимальным решением для мира, наполненного ошибками, создаваемыми как ИИ, так и человеком, является обновление инструментов разработки и безопасности программного обеспечения с учётом этой новой реальности. Он считает, что существующие инструменты безопасности не поспевают за темпами разработки программного кода, создаваемого ИИ, и что многим разработчикам ПО не хватает подготовки для самостоятельной разработки безопасного кода.
«Я думаю, что этим инструментам разработки действительно следует уделять первостепенное внимание и убедиться, что при генерации кода они исходят из того, что пользователь не очень технически подкован, не имеет ресурсов для выявления ошибок и добавления дополнительных мер безопасности», — сказал он.
