Braveは検索業界に競争をもたらす独自のSearch APIをリリースします
本日、BraveはBrave Search APIをリリースします。Web検索機能を必要とする次世代アプリを構築する際にBrave Searchのバックボーンを世界中の企業や開発者が利用できるようにしました。
この記事を読む →本日、BraveサーチのAIによる最新機能「サマライザー」を発表できることを嬉しく思います。
サマライザーは、Web検索結果をもとに、検索ワードの入力に応じて、Brave Searchの検索結果ページの上部に簡潔で要点を押さえた回答を提供します。根拠のない主張をしがちな単純なジェネラティブAIモデルとは異なり、Web上に存在する複数の情報源を処理するための大規模言語モデル(LLM)を構築しました。これにより、より簡潔で正確な答えが、まとまりのある言葉で表示されるようになりました。
また、データの出典は、リンクによって常に明示されています。これにより、情報の正当な帰属を維持し、ユーザーが情報源に対する信頼性を評価することができます。これらは、大規模言語モデルの権威的なバイアスを軽減するために必要となる要素です。
Braveサマライザーは、デスクトップとモバイルで、Brave Searchの全ユーザーが本日から利用できるようになりました。サマライザーを使用したくないユーザーは、設定でオプトアウトすることで、簡単にオフにすることができます。
Webの検索結果を利用することで、最新の情報をリアルタイムで提供することができます。AIの進化を考えると、AIが出す結果をすべて信じるのではなく、かと言ってWebで公開されているものをすべて信じるのも違うのではないか、ということをユーザーに伝えることが重要だと私たちは考えます。当たり前のことですが、AIモデルの結果がいかに素晴らしいものであっても、私たちは消費するものに対して批評的な思考を捨ててはならないのです。
サマリそのものに加えて、私たちのAIモデルは、検索ワードに応じたスニペット(結果の説明)を、要約バージョンに置き換え、可能な限り答えを強調することも可能です。これは、複数のソースを考慮して集約し、より包括的な回答を作成するメインの要約とは対照的に、単一ソース(プレス記事など)の要約です。結果ページの上部に表示される要約と、各ページの説明が一緒に表示されるため、ユーザーは包括的な要約と、答えをハイライトしたスニペットの両方を見ることができます。
検索結果で強調表示された箇所に注目してください。
「1日あたり2,200万件の検索を行なっているBrave Searchは、Bing以降、最も急速に成長している検索エンジンです。私たちは独自のWebインデックスにより私たち独自の検索結果を提供していますが、AIを搭載したサマライザーによって検索結果の関連性をさらに品質向上させます。」と、Braveの検索担当チーフであるJosep M. Pujolは話します。「偽りの回答を提供する可能性のあるAIチャットツールとは異なり、サマライザーは検索結果ページの上部に平易な要約を生成し、Web上の最新のソースを集約して、透明性と説明責任のためのソースを提供します。このオープンなシステムは、今日からすべてのBraveサーチユーザーに提供され、検索結果を今まで以上に活用できるようになります。」
最近同様の機能をリリースした多くの他社機能とは異なり、私たちはサードパーティに頼らず、またスケーラビリティの懸念からアクセスを制限することもありません。Braveサマライザーは、推論時に可能な限り効率的になるように高度にチューニングされた、当社が所有/運用するモデルに依存しています。現在、Brave Searchはピーク時には1秒間に600件のクエリを毎日処理し、それを当社のAIモデルで評価します。要約が生成されるのはクエリの約17%ですが、システムの規模を拡大するにつれて、この数字は今後大きくなる予定です。BraveのAIモデルは、1秒あたりのクエリ数が他よりも多いこと、すべてのクエリにサマライザーを適用していること、BingとGoogleがまだシステムをオープンにしていないことなどから、おそらく現在提供されているこのような検索システムとしては最大規模です。1
スケーラビリティのほか、生成されるサマリの品質を保証するために多大な努力が注ぎこまれました。しかし、現在はまだモデルの開発初期段階であるため、無関係なスニペットが混ざったまま一つの検索結果になる幻覚のような現象が発生する可能性があります。また、虚偽の文章や不快な文章が含まれる可能性もありますので、ユーザーからのフィードバックを受けながら、モデルの改良を引き続き行います。
サマライザーは、Brave Searchチームによってすべて開発されており、私たちがすべての製品に適用している独立性とプライバシーの原則に基づいています。サマライザーは、ChatGPTやそのバックエンドシステムを使用せず、異なるタスクで訓練された以下の3つの異なるLLM2で構成されています。
最初のものはQA(質問応答)です。このモデルは、テキストスニペットから具体的な答えを抽出するために使用されます。Braveは以前から検索の関連性を高めるためにLLMを使用しており、これはBrave Searchがナレッジグラフとスニペット機能を強化するためにすでに備えていたものの延長線上にあるものです。違いは、分析するテキストスニペットの数と長さにあります。
QA抽出段階の後、検索結果の候補はさらに、さまざまな基準(ヘイトスピーチ、下品な文章、スパムなど)でゼロショット分類器の組み合わせにより分類されます。
最終的に候補となったテキストは、要約・言い換えモデルによって処理され、繰り返しを削除し、読みやすさを向上させるために言語を統一するように、入力が書き換えられます。
スケーラビリティの点と、大規模なリリースの最初の数週間に学んだ教訓を踏まえた上で、より多くの技術的な詳細をお知らせする予定です。
なお、Brave Search Goggles(検索結果の順序を変更するフィルタを作成できる革新的なBrave Search機能)3では、ユーザー生成Gogglesの品質を保証するモデルを改良するため、サマライザーは現在無効になっています。Goggles 用サマライザーの詳細については、近日中にご紹介する予定です。
Brave Searchサマライザーは、過去に検索の関連性を高めるために行った複数の開発と、昨年12月のChatGPTのリリース後、特にマイクロソフトがOpenAIのモデルを検索エンジンBingに組み込むと発表した後に引き起こされた、様々な最近の開発を踏まえてのものです。一般には公開されていませんが、彼らのモデルに対する初期のフィードバックは、印象的なもの4から怖いもの5まで様々です。
業界ではAIについて多くの宣伝が行われていますが、Braveでは、LLMが私たちが知っている検索を置き換えることができるとはまだ確信していません。しかし、適切に使用されれば、これらの新しいモデルは、ユーザーが結果を参照する際に役立つようになります。これが私たちがサマライザーで行っているアプローチです。チャットのようなインターフェースやオラクルベースの検索はまだ実証されておらず、現時点では、すべての検索タスクに有用であるかどうかについては懐疑的です。
とはいえ、私たちは、ユーザーのニーズを満たし、オンライン体験をコントロールできるようにする新しい技術には、強い信頼を寄せています。私たちは、LLMを検索フィールドだけでなく、LLMのアシスタント的な機能をBraveブラウザに適用する方法を今後も探っていくつもりです。
Braveには、BigTechに代わる信頼できる選択肢を提供し、大きな挑戦を続けてきた歴史があります。Braveブラウザの月間アクティブユーザーは5700万人を超え、Brave Searchは独立したインデックスから1日2200万以上のクエリを提供しており、BingやGoogle、そしてそれらの検索APIに依存する他の検索エンジンに続く最大の検索エンジンになりました。まだ早いですが、私たちのAIを使った開発も同じような道をたどり、ユーザーに採用されることを期待しています。
Braveサーチは、すべての Brave ブラウザ(デスクトップ、Android、iOS)で利用できるほか、他のブラウザからも search.brave.com にて利用可能です。
https://9to5google.com/2023/02/23/google-bard-ai-cost-report/ ↩︎
TベースとなるLLMモデルは、(オープンソースでHugging Faceにホストされている)BARTまたはDeBERTaをベースに、検索結果からの独自のデータに基づく再トレーニングを重ねたものです。 ↩︎
https://brave.com/search-anniversary/#search-without-limits-goggles-beta-release ↩︎
https://www.pcmag.com/opinions/bings-ai-chat-marks-a-new-web-era-please-dont-kill-it ↩︎
https://stratechery.com/2023/from-bing-to-sydney-search-as-distraction-sentient-ai/ ↩︎
本日、BraveはBrave Search APIをリリースします。Web検索機能を必要とする次世代アプリを構築する際にBrave Searchのバックボーンを世界中の企業や開発者が利用できるようにしました。
この記事を読む →Brave Searchで表示されるすべてのWeb検索結果が、Brave独自のインデックスによって提供されるようになりました。これまでクエリ結果の約7%を占めていたBingへの検索APIコールはすべて削除されました。
この記事を読む →独自のプライバシー重視型検索エンジンが1周年でベータ版を終了し、ユーザーの脱グーグルを支援する革新的な機能が追加されます
この記事を読む →