Стартап в области искусственного интеллекта Perplexity использует скрытые методы для обхода сетевых блокировок, препятствующих систематическому просмотру и копированию веб-страниц, сообщил Cloudflare в понедельник в своем блоге.
Предполагаемая активность побудила Cloudflare, которая получила жалобы от своих клиентов, принять меры против Perplexity.
«Существуют чёткие требования, согласно которым роботы должны быть прозрачными, служить чёткой цели, выполнять определённую работу и, что самое главное, следовать директивам и настройкам веб-сайта», — написали инженеры Cloudflare . «Основываясь на наблюдаемом поведении Perplexity, которое несовместимо с этими настройками, мы исключили его из списка проверенных ботов и добавили эвристические правила к нашим управляемым правилам, блокирующие это скрытое сканирование».
Это последний шаг Cloudflare в ее подходе к сканированию с помощью систем ИИ после объявления, сделанного в прошлом месяце, о разрешении клиентам блокировать или взимать плату с веб-сканеров, используемых для сбора данных с их веб-сайтов и данных.
Клиенты, запретившие Perplexity сканирование в своих файлах robots.txt (файле, который указывает поисковым роботам, к каким частям веб-сайта они могут и не могут получить доступ), сообщили CloudFlare, что Perplexity по-прежнему может получать доступ к их контенту.
«Эти клиенты сообщили нам, что Perplexity всё ещё могла получить доступ к их контенту, даже когда её боты были успешно заблокированы», — заявили в Cloudflare. «Мы подтвердили, что роботы Perplexity действительно блокировались на указанных страницах, а затем провели несколько целевых тестов, чтобы определить, какое именно поведение мы наблюдали».
Письма, отправленные представителю Perplexity и на адрес электронной почты СМИ с просьбой об ответе, не были немедленно отвечены. Однако представитель компании Джесси Дуайер заявил TechCrunch , что публикация в блоге Cloudflare была всего лишь «рекламным предложением», что скриншоты в публикации «показывают, что доступ к контенту не осуществлялся», а бот, названный Cloudflare, «даже не наш».
Perplexity позже подробно ответила в своем блоге , назвав работу Cloudflare «позорной» и «дисквалифицирующей».
Компания Perplexity ранее сталкивалась с обвинениями в неэтичном веб-скрапинге . Недавно BBC пригрозила подать на компанию в суд за сбор контента. Это один из многих исков, с которыми сталкиваются компании, работающие в сфере ИИ, хотя некоторые организации , в том числе и Perplexity, заключили соглашения с компаниями, занимающимися ИИ.
В сообщении в блоге Cloudflare говорится, что OpenAI является примером компании, которая следует рекомендуемым практикам в отношении сканеров и заблокированного поведения.
Предполагаемая активность побудила Cloudflare, которая получила жалобы от своих клиентов, принять меры против Perplexity.
«Существуют чёткие требования, согласно которым роботы должны быть прозрачными, служить чёткой цели, выполнять определённую работу и, что самое главное, следовать директивам и настройкам веб-сайта», — написали инженеры Cloudflare . «Основываясь на наблюдаемом поведении Perplexity, которое несовместимо с этими настройками, мы исключили его из списка проверенных ботов и добавили эвристические правила к нашим управляемым правилам, блокирующие это скрытое сканирование».
Это последний шаг Cloudflare в ее подходе к сканированию с помощью систем ИИ после объявления, сделанного в прошлом месяце, о разрешении клиентам блокировать или взимать плату с веб-сканеров, используемых для сбора данных с их веб-сайтов и данных.
Клиенты, запретившие Perplexity сканирование в своих файлах robots.txt (файле, который указывает поисковым роботам, к каким частям веб-сайта они могут и не могут получить доступ), сообщили CloudFlare, что Perplexity по-прежнему может получать доступ к их контенту.
«Эти клиенты сообщили нам, что Perplexity всё ещё могла получить доступ к их контенту, даже когда её боты были успешно заблокированы», — заявили в Cloudflare. «Мы подтвердили, что роботы Perplexity действительно блокировались на указанных страницах, а затем провели несколько целевых тестов, чтобы определить, какое именно поведение мы наблюдали».
Письма, отправленные представителю Perplexity и на адрес электронной почты СМИ с просьбой об ответе, не были немедленно отвечены. Однако представитель компании Джесси Дуайер заявил TechCrunch , что публикация в блоге Cloudflare была всего лишь «рекламным предложением», что скриншоты в публикации «показывают, что доступ к контенту не осуществлялся», а бот, названный Cloudflare, «даже не наш».
Perplexity позже подробно ответила в своем блоге , назвав работу Cloudflare «позорной» и «дисквалифицирующей».
Компания Perplexity ранее сталкивалась с обвинениями в неэтичном веб-скрапинге . Недавно BBC пригрозила подать на компанию в суд за сбор контента. Это один из многих исков, с которыми сталкиваются компании, работающие в сфере ИИ, хотя некоторые организации , в том числе и Perplexity, заключили соглашения с компаниями, занимающимися ИИ.
В сообщении в блоге Cloudflare говорится, что OpenAI является примером компании, которая следует рекомендуемым практикам в отношении сканеров и заблокированного поведения.
