パープレキシティは長年、スクレイピング対策を故意に回避してウェブコンテンツを取得していると非難されてきました。同社はこれまで、こうした非難を不誠実または誤解によるものだとして否定してきましたが、新たな報告書によると、こうした行為は依然として行われているだけでなく、むしろ悪化している可能性があることが明らかになりました。

困惑の主な反論：意味論

Perplexityのウェブクローリング慣行に関する問題は、2024年6月にWiredやその他のメディアが同社がRobots Exclusion Protocolを無視し、ウェブサイトからコンテンツを削除していると非難したときに初めて明らかになった。

当時、パープレキシティのCEOであるアラヴィンド・スリニヴァス氏は、犯人は匿名のサードパーティのウェブクロールベンダーであり、「この仕組みについて基本的な誤解があった」と述べた。

間もなく、他の出版物もパープレキシティを盗作と非倫理的なウェブスクレイピングで非難し始め、ニューヨーク・タイムズ紙やBBCは法的措置を脅迫しました。当時、パープレキシティはBBCが「操作的で日和見主義的」であり、「テクノロジー、インターネット、そして知的財産法について根本的な誤解」を抱いていると主張しました。

それ以来、Perplexity社は繰り返しこの非難を否定し、特定のユースケースにおけるクローリングとスクレイピングの定義に異議を唱えてきました。Wired誌は次のように報じています。

つまり、ユーザーがAIにURLを手動で提供した場合、Perplexity社は、同社のAIはウェブクローラーとしてではなく、ユーザーが要求した情報の取得と処理を支援するツールとして機能すると述べている。しかし、Wiredをはじめとする多くの出版社にとって、これは区別のない事実である。なぜなら、URLにアクセスしてそこから情報を取得し、テキストを要約する作業は、1日に何千回も行われるとすれば、スクレイピングと酷似しているからだ。

同様に、スリニヴァス氏は過去に、回答エンジンによって表示されたコンテンツの元の情報源へのアクセスを容易にすると約束していました。しかし、これは、問題が情報の提示方法ではなく、情報の入手方法にあるという事実に対処していません。

Cloudflareは、Perplexityがクロールしないように明示的に指示されているデータを追いかけるためにわざわざ努力していると述べている。

本日、Cloudflare は、サーバーがすべての自動アクセスを明示的に拒否し、Perplexity のパブリック クローラーからのクロールをブロックする特定のルールを組み込んでいる場合でも、Perplexity はとにかくクロールを行うと主張するレポートを公開しました。

Cloudflareによると:

Perplexityは、宣言されたユーザーエージェントだけでなく、宣言されたクローラーがブロックされた際にmacOS上でGoogle Chromeを偽装する汎用ブラウザも使用していたことが確認されました。宣言済みクローラーと未宣言クローラーの両方が、RFC 9309に定められたウェブクロールの規範に反して、スクレイピングのためにコンテンツにアクセスしようとしていました。この未宣言クローラーは、Perplexityの公式IPアドレス範囲に記載されていない複数のIPアドレスを利用し、robots.txtの制限的なポリシーとCloudflareのブロックに応じて、これらのIPアドレスをローテーションで切り替えていました。IPのローテーションに加えて、ウェブサイトのブロックをさらに回避するために、異なるAS番号からのリクエストが送信されていることも確認されました。この活動は、数万のドメインと1日あたり数百万件のリクエストで確認されました。機械学習とネットワークシグナルを組み合わせることで、このクローラーのフィンガープリントを特定することができました。

The Vergeへの声明の中で、Perplexityはブログ投稿を「宣伝活動」と呼び、「ブログ投稿には多くの誤解がある」と述べた。

公平を期すために言うと、AIが生成した回答の一部としてWebコンテンツを不当にスクレイピングまたは抽出しているという非難は、Perplexityに限ったことではありません。過去には、OpenAIのクローリング手法がDDoS攻撃に例えられました。Anthropicも同様です。

また、ロボット排除プロトコルは法律ではなく、広く遵守されている慣習であることも忘れてはなりません。それでも、Cloudflareの調査では特にPerplexity社が名指しされており、同社はAppleが買収を検討していると報じられている企業でもあります。というわけで、ここに至ったわけです。

Apple にとって、この頭痛の種は本当に必要なのでしょうか?

AppleがPerplexityを買収するのを阻むものは何もありません。実際、私は今のところAppleが買収する可能性の方が低いと考えています。正直なところ、この記事を書き終える前に発表があるのではないかと半ば期待しています。

そして、Apple はPerplexityのような企業を買収すべきです。

しかし、プライバシーと正しいことを行うというAppleの姿勢を考えると、これほど複雑な背景と、率直に言って姿勢を持つ企業を買収すべきなのだろうか？

Appleが、自社の文化、リーダーシップ、そして倫理的なウェブクロール慣行のもとで、インバウンド技術を過去の罪から解放できると考えている可能性は十分にあります。しかし、Perplexityがそのような事態に陥ったのは、報道されているような行動をとったからに過ぎないという事実は変わりません。

もちろん、Apple が Perplexity を買収することを決定した場合、それは (願わくば) 同社がデューデリジェンスを実施し、法的に問題となるようなことは何も発見されなかったということを意味するでしょう。

しかし、これはAppleが追いつくために、たとえわずかでも基本原則を妥協せざるを得ないほどのプレッシャーを感じている可能性も示唆している。もしそれが事実であれば、AI分野における現状の遅れよりもさらに残念な結果となるだろう。

AmazonでのAirPodsのセール

• AirPods Pro 2、USB-C充電：  169ドル （80ドル引き）
• AirPods 4 USB-C充電：  99ドル （以前は129ドル）
• AirPods 4、USB-Cおよびワイヤレス充電：  148.99ドル （旧価格179ドル）
• AirPods Max、USB-C充電、ミッドナイト：  449.99ドル （100ドル引き）

havebin.com を Google ニュース フィードに追加します。