Федеральная торговая комиссия считает, что детекторы ИИ могут оказаться чушь.
На этой неделе агентство объявило о вынесении судебного приказа в отношении Workado, компании из Аризоны, производящей ИИ-детектор контента. Согласно этому приказу, компания должна отказаться от своих публичных заявлений об эффективности инструмента и уведомить об этом своих клиентов.
Соглашение было заключено после расследования, проведенного FTC в прошлом году в отношении публичных заявлений компании Workado о том, что ее детектор контента на основе ИИ может практически с идеальной точностью определить, был ли фрагмент текста сгенерирован популярными коммерческими моделями чата на больших языках от OpenAI, Anthropic, Google и других.
В частности, утверждается, что детектор «является одним из самых надёжных и действует глубже, чем стандартный детектор ИИ». Компания утверждает, что точно обнаруживает контент, сгенерированный ИИ, в 98% случаев, а также предлагает профессиональную версию программного обеспечения, которая, по её заявлению, может «преобразовать текст ИИ в необнаружимый контент ИИ».
Однако, согласно жалобе FTC , поданной в апреле, компания Workado «не создавала, не обучала и не настраивала» фактическую модель ИИ, лежащую в основе ее продукта, которая была взята из Hugging Face — общедоступного репозитория ИИ с открытым исходным кодом.
Эта модель обучалась только на академическом контенте (не на Википедии, блогах и других источниках) и ограничивалась ChatGPT, исключая другие коммерческие модели. Данные тестирования разработчиков «также показали, что ИИ-модель испытывала трудности с идентификацией контента, сгенерированного ИИ, как такового при оценке неакадемического контента, правильно определяя текст, сгенерированный ИИ, всего в 53,2% случаев», а не в 98%, как утверждала Workado.
«Потребители доверяли детектору контента на основе ИИ от Workado, который помогал им определить, стоит ли за текстом ИИ, но продукт справился с этой задачей не лучше подбрасывания монеты», — заявил в апреле Крис Муфарриге, директор Бюро по защите прав потребителей Федеральной торговой комиссии.
В соглашении с FTC указано, что Workado «не должна делать никаких прямых или косвенных заявлений» об эффективности своего продукта в обнаружении контента, сгенерированного ИИ или изменённого им, «за исключением случаев, когда такое заявление не вводит в заблуждение».
Для этого Workado должна гарантировать, что «на момент первого представления такого заявления и каждый раз, когда такое заявление делается впоследствии, она располагает и полагается на компетентные и надёжные доказательства, которые, когда это уместно, основаны на опыте специалистов в соответствующей области, должны быть компетентными и надёжными научными доказательствами, достаточными по качеству, количеству и своевременности, основанными на общепринятых в соответствующих областях стандартах, рассматриваемых в свете всей совокупности соответствующих и надёжных доказательств, чтобы подтвердить истинность заявления».
По сути, это означает, что каждый раз, когда Workado публично заявляет, что её программное обеспечение способно обнаруживать признаки манипуляции ИИ, компания должна повторять процесс тестирования и обновлять программное обеспечение в соответствии с новыми моделями. Согласно постановлению, компания обязана безопасно хранить все данные испытаний и сопутствующую документацию для последующей проверки и предоставлять их для постоянного контроля со стороны государственных органов.
Компания Workado, которая официально не признала правонарушение в рамках заказа, также должна связаться со своими клиентами, используя письмо, составленное FTC, чтобы подтвердить, что она урегулировала обвинения в ложных или необоснованных рекламных заявлениях относительно точности ее детектора контента на основе ИИ.
«Мы утверждали, что наш ИИ-детектор контента с точностью 98% определит, был ли текст создан такими ИИ-генераторами контента, как ChatGPT, GPT4, Claude и Bard», — говорится в проекте письма. «Федеральная торговая комиссия (FTC) утверждает, что у нас нет доказательств, подтверждающих эти заявления. Мы прекратили делать подобные заявления. В будущем мы не будем делать заявлений о точности наших ИИ-инструментов для обнаружения контента, пока не сможем это доказать».
Если говорить точнее, разработка программы, способной надёжно обнаруживать модели контента, сгенерированные ИИ, в течение длительного времени, — сложная, но обоснованная задача. Поскольку и дипфейки, и детекторы дипфейков построены на одной и той же базовой технологии LLM, их алгоритмы могут учиться на инновациях друг друга, а модели могут обучаться более эффективно обнаруживать (или обходить) друг друга. Это создаёт постоянную игру в кошки-мышки , где эффективность детекторов ИИ постепенно снижается со временем, если они не обновляются.
Исследователи из Агентства перспективных исследовательских проектов Министерства обороны США (DARPA) уже много лет знают об этой проблеме и работают над разработкой систем, способных точно идентифицировать контент, обработанный ИИ, в тексте, видео и аудио. Они также разработали эти системы с учётом их адаптивности, что позволяет им развиваться по мере развития технологий ИИ. Хотя существует очевидная потребность в криминалистических инструментах для анализа медиаконтента на наличие синтетического контента, создание решений, способных сохранять свою эффективность, всегда будет оставаться нерешённой задачей.
Однако расследование и урегулирование с Workado показывают, что FTC понимает изменчивость научных данных, лежащих в основе обнаружения с помощью ИИ, и считает, что планка для компаний, заявляющих, что их инструменты работают так, как задумано, выше и требует постоянной, подкрепленной наукой бдительности, чтобы оставаться актуальной с течением времени.
На этой неделе агентство объявило о вынесении судебного приказа в отношении Workado, компании из Аризоны, производящей ИИ-детектор контента. Согласно этому приказу, компания должна отказаться от своих публичных заявлений об эффективности инструмента и уведомить об этом своих клиентов.
Соглашение было заключено после расследования, проведенного FTC в прошлом году в отношении публичных заявлений компании Workado о том, что ее детектор контента на основе ИИ может практически с идеальной точностью определить, был ли фрагмент текста сгенерирован популярными коммерческими моделями чата на больших языках от OpenAI, Anthropic, Google и других.
В частности, утверждается, что детектор «является одним из самых надёжных и действует глубже, чем стандартный детектор ИИ». Компания утверждает, что точно обнаруживает контент, сгенерированный ИИ, в 98% случаев, а также предлагает профессиональную версию программного обеспечения, которая, по её заявлению, может «преобразовать текст ИИ в необнаружимый контент ИИ».
Однако, согласно жалобе FTC , поданной в апреле, компания Workado «не создавала, не обучала и не настраивала» фактическую модель ИИ, лежащую в основе ее продукта, которая была взята из Hugging Face — общедоступного репозитория ИИ с открытым исходным кодом.
Эта модель обучалась только на академическом контенте (не на Википедии, блогах и других источниках) и ограничивалась ChatGPT, исключая другие коммерческие модели. Данные тестирования разработчиков «также показали, что ИИ-модель испытывала трудности с идентификацией контента, сгенерированного ИИ, как такового при оценке неакадемического контента, правильно определяя текст, сгенерированный ИИ, всего в 53,2% случаев», а не в 98%, как утверждала Workado.
«Потребители доверяли детектору контента на основе ИИ от Workado, который помогал им определить, стоит ли за текстом ИИ, но продукт справился с этой задачей не лучше подбрасывания монеты», — заявил в апреле Крис Муфарриге, директор Бюро по защите прав потребителей Федеральной торговой комиссии.
В соглашении с FTC указано, что Workado «не должна делать никаких прямых или косвенных заявлений» об эффективности своего продукта в обнаружении контента, сгенерированного ИИ или изменённого им, «за исключением случаев, когда такое заявление не вводит в заблуждение».
Для этого Workado должна гарантировать, что «на момент первого представления такого заявления и каждый раз, когда такое заявление делается впоследствии, она располагает и полагается на компетентные и надёжные доказательства, которые, когда это уместно, основаны на опыте специалистов в соответствующей области, должны быть компетентными и надёжными научными доказательствами, достаточными по качеству, количеству и своевременности, основанными на общепринятых в соответствующих областях стандартах, рассматриваемых в свете всей совокупности соответствующих и надёжных доказательств, чтобы подтвердить истинность заявления».
По сути, это означает, что каждый раз, когда Workado публично заявляет, что её программное обеспечение способно обнаруживать признаки манипуляции ИИ, компания должна повторять процесс тестирования и обновлять программное обеспечение в соответствии с новыми моделями. Согласно постановлению, компания обязана безопасно хранить все данные испытаний и сопутствующую документацию для последующей проверки и предоставлять их для постоянного контроля со стороны государственных органов.
Компания Workado, которая официально не признала правонарушение в рамках заказа, также должна связаться со своими клиентами, используя письмо, составленное FTC, чтобы подтвердить, что она урегулировала обвинения в ложных или необоснованных рекламных заявлениях относительно точности ее детектора контента на основе ИИ.
«Мы утверждали, что наш ИИ-детектор контента с точностью 98% определит, был ли текст создан такими ИИ-генераторами контента, как ChatGPT, GPT4, Claude и Bard», — говорится в проекте письма. «Федеральная торговая комиссия (FTC) утверждает, что у нас нет доказательств, подтверждающих эти заявления. Мы прекратили делать подобные заявления. В будущем мы не будем делать заявлений о точности наших ИИ-инструментов для обнаружения контента, пока не сможем это доказать».
Если говорить точнее, разработка программы, способной надёжно обнаруживать модели контента, сгенерированные ИИ, в течение длительного времени, — сложная, но обоснованная задача. Поскольку и дипфейки, и детекторы дипфейков построены на одной и той же базовой технологии LLM, их алгоритмы могут учиться на инновациях друг друга, а модели могут обучаться более эффективно обнаруживать (или обходить) друг друга. Это создаёт постоянную игру в кошки-мышки , где эффективность детекторов ИИ постепенно снижается со временем, если они не обновляются.
Исследователи из Агентства перспективных исследовательских проектов Министерства обороны США (DARPA) уже много лет знают об этой проблеме и работают над разработкой систем, способных точно идентифицировать контент, обработанный ИИ, в тексте, видео и аудио. Они также разработали эти системы с учётом их адаптивности, что позволяет им развиваться по мере развития технологий ИИ. Хотя существует очевидная потребность в криминалистических инструментах для анализа медиаконтента на наличие синтетического контента, создание решений, способных сохранять свою эффективность, всегда будет оставаться нерешённой задачей.
Однако расследование и урегулирование с Workado показывают, что FTC понимает изменчивость научных данных, лежащих в основе обнаружения с помощью ИИ, и считает, что планка для компаний, заявляющих, что их инструменты работают так, как задумано, выше и требует постоянной, подкрепленной наукой бдительности, чтобы оставаться актуальной с течением времени.
