Согласно новому отчету Счетной палаты США, Министерство внутренней безопасности не провело надлежащую сертификацию того, являются ли примеры использования искусственного интеллекта для кибербезопасности, перечисленные в его реестре ИИ, фактическими примерами этой технологии, что ставит под сомнение достоверность полного каталога агентства.
Реестр ИИ-решений Министерства внутренней безопасности, запущенный в 2022 году для выполнения требований, изложенных в указе администрации Трампа от 2020 года об использовании ИИ в федеральном правительстве, включал 21 вариант использования в различных подразделениях агентства, два из которых были специально посвящены кибербезопасности.
Представители Министерства внутренней безопасности сообщили GAO, что один из двух вариантов использования кибербезопасности — автоматизированная оценка и обратная связь, прогностическая модель, предназначенная для обмена информацией о киберугрозах, — «был ошибочно охарактеризован как ИИ». Включение AS&F «поднимает вопросы об общей надежности перечня вариантов использования ИИ Министерства внутренней безопасности», — заявили в GAO.
«Хотя у Министерства внутренней безопасности есть процедура проверки вариантов использования перед их добавлением в реестр ИИ, агентство признаёт, что не может подтвердить, что варианты использования правильно характеризуются как ИИ», — отмечается в отчёте. «Пока Министерство внутренней безопасности не расширит свою процедуру, включив в неё такие определения, оно не сможет гарантировать точность отчётности о вариантах использования».
GAO обвинило Министерство внутренней безопасности в неспособности в полной мере внедрить Рамочную программу подотчетности в области ИИ 2021 года , отметив, что агентство «внедрило лишь отдельные практики» для «управления и контроля за использованием ИИ для кибербезопасности».
Эта структура ИИ включает 11 ключевых практик, которые были учтены Министерством внутренней безопасности при управлении, эксплуатации и надзоре за кибербезопасностью ИИ, охватывая все аспекты: от управления и данных до производительности и мониторинга. Управление главного технического директора агентства рассмотрело все 21 вариант использования, перечисленные в списке вариантов использования Министерства внутренней безопасности, но дополнительных мер по определению того, был ли тот или иной вариант использования «характерным для ИИ», не было предпринято, говорится в отчете.
«Сотрудники CTOD заявили, что не проводили независимую проверку систем, поскольку для обеспечения точности они полагаются на компоненты и существующие механизмы управления и контроля ИТ», — заявили в GAO. «По мнению экспертов, участвовавших в Форуме Генерального контролера по искусственному интеллекту, существующие структуры и стандарты могут не обеспечивать достаточной детализации для оценки социальных и этических проблем, которые могут возникнуть при использовании систем ИИ».
GAO предложило Министерству внутренней безопасности восемь рекомендаций, включая расширение процесса проверки агентства на предмет ИИ, добавление мер по обеспечению точности представляемых инвентаризаций и полное внедрение практик надзорного органа в отношении ИИ. В отчете отмечается, что Министерство внутренней безопасности согласилось со всеми восемью рекомендациями.
«Обеспечение ответственного и подотчётного использования ИИ будет иметь решающее значение по мере того, как Министерство внутренней безопасности наращивает свои возможности по использованию ИИ в своей деятельности», — заявило GAO. «Полностью внедряя методы подотчётности, Министерство внутренней безопасности может способствовать укреплению общественного доверия и уверенности в том, что ИИ может быть высокоэффективным инструментом для достижения стратегических результатов».
Отчёт Министерства внутренней безопасности США (DHS) следует за предыдущими выводами GAO о «неполных и неточных данных» в перечнях вариантов использования ИИ в ведомствах. В отчёте надзорного органа за декабрь 2023 года большинство перечней были охарактеризованы как «неполные и неточные», что соответствует выводам предыдущего отчёта FedScoop .
Реестр ИИ-решений Министерства внутренней безопасности, запущенный в 2022 году для выполнения требований, изложенных в указе администрации Трампа от 2020 года об использовании ИИ в федеральном правительстве, включал 21 вариант использования в различных подразделениях агентства, два из которых были специально посвящены кибербезопасности.
Представители Министерства внутренней безопасности сообщили GAO, что один из двух вариантов использования кибербезопасности — автоматизированная оценка и обратная связь, прогностическая модель, предназначенная для обмена информацией о киберугрозах, — «был ошибочно охарактеризован как ИИ». Включение AS&F «поднимает вопросы об общей надежности перечня вариантов использования ИИ Министерства внутренней безопасности», — заявили в GAO.
«Хотя у Министерства внутренней безопасности есть процедура проверки вариантов использования перед их добавлением в реестр ИИ, агентство признаёт, что не может подтвердить, что варианты использования правильно характеризуются как ИИ», — отмечается в отчёте. «Пока Министерство внутренней безопасности не расширит свою процедуру, включив в неё такие определения, оно не сможет гарантировать точность отчётности о вариантах использования».
GAO обвинило Министерство внутренней безопасности в неспособности в полной мере внедрить Рамочную программу подотчетности в области ИИ 2021 года , отметив, что агентство «внедрило лишь отдельные практики» для «управления и контроля за использованием ИИ для кибербезопасности».
Эта структура ИИ включает 11 ключевых практик, которые были учтены Министерством внутренней безопасности при управлении, эксплуатации и надзоре за кибербезопасностью ИИ, охватывая все аспекты: от управления и данных до производительности и мониторинга. Управление главного технического директора агентства рассмотрело все 21 вариант использования, перечисленные в списке вариантов использования Министерства внутренней безопасности, но дополнительных мер по определению того, был ли тот или иной вариант использования «характерным для ИИ», не было предпринято, говорится в отчете.
«Сотрудники CTOD заявили, что не проводили независимую проверку систем, поскольку для обеспечения точности они полагаются на компоненты и существующие механизмы управления и контроля ИТ», — заявили в GAO. «По мнению экспертов, участвовавших в Форуме Генерального контролера по искусственному интеллекту, существующие структуры и стандарты могут не обеспечивать достаточной детализации для оценки социальных и этических проблем, которые могут возникнуть при использовании систем ИИ».
GAO предложило Министерству внутренней безопасности восемь рекомендаций, включая расширение процесса проверки агентства на предмет ИИ, добавление мер по обеспечению точности представляемых инвентаризаций и полное внедрение практик надзорного органа в отношении ИИ. В отчете отмечается, что Министерство внутренней безопасности согласилось со всеми восемью рекомендациями.
«Обеспечение ответственного и подотчётного использования ИИ будет иметь решающее значение по мере того, как Министерство внутренней безопасности наращивает свои возможности по использованию ИИ в своей деятельности», — заявило GAO. «Полностью внедряя методы подотчётности, Министерство внутренней безопасности может способствовать укреплению общественного доверия и уверенности в том, что ИИ может быть высокоэффективным инструментом для достижения стратегических результатов».
Отчёт Министерства внутренней безопасности США (DHS) следует за предыдущими выводами GAO о «неполных и неточных данных» в перечнях вариантов использования ИИ в ведомствах. В отчёте надзорного органа за декабрь 2023 года большинство перечней были охарактеризованы как «неполные и неточные», что соответствует выводам предыдущего отчёта FedScoop .
