最新の記事
PostgreSQLの全文検索とAzure AI Searchのハイブリッド検索:要件で選ぶ判断軸
PostgreSQL(公式ドキュメント)によると、全文検索は語形正規化・ストップワード除去を外部依存なしに処理できる。一方、Microsoft(Azure AI Search)によると、ハイブリッド検索は全文検索とベクトルクエリを単一リクエストに統合する。キーワードの完全一致で十分か、意味的な類似検索も必要かが、選択の起点となる。
PostgreSQLの全文検索が実際にやっていること
PostgreSQLの全文検索は、文書をトークン(数値・単語・メールアドレスなど)に分解し、それをレクセム(検索に適した正規化済みの語形)へ変換するという二段階の処理で成り立っている。PostgreSQL公式ドキュメントによると、正規化には大文字・小文字の統一や語尾の除去が含まれており、「running」と「run」のように語形が違っても同じ語として扱える。検索クエリに全変形を列挙しなくてよいのはこの仕組みのためだ。
同じく公式ドキュメントによると、ストップワード(「the」「a」のような極めて一般的な語)はこの段階で除去される。前処理済みの文書は正規化済みレクセムのソート済み配列として保存でき、近接ランキングに使う位置情報も合わせて保持できるとされている。これらはすべてPostgreSQL内部で完結する機能であり、外部サービスへの依存を追加せずに実装できる点が特徴だ。
専用検索サービスが加える次の層:Azure AI Searchのハイブリッド検索
PostgreSQLが提供するのがキーワードベースの全文検索であるのに対し、Microsoftが提供するAzure AI Searchはベクトル検索と全文検索を一つのリクエストに統合する「ハイブリッド検索」を提案している。Microsoftの公式ページによると、このハイブリッド検索は全文検索とベクトルクエリの両パラメータを含む単一クエリとして設計されており、プレーンテキストと生成済み埋め込みベクトルを含む検索インデックスに対して実行される。
Microsoftによると、ベクトル検索の強みはキーワードが一致しなくても意味的に類似した情報を見つけられる点にあり、キーワード検索の強みは製品コードや専門用語・日付・人名のような厳密な一致が必要な場面での精度にある。Azure AI Searchはさらに、エンタープライズコンテンツをエージェント向けの再利用可能な知識ベースに変換するFoundry IQの基盤でもあるとMicrosoftは説明している。ただしこれらはいずれもMicrosoftによる説明であり、独立した検証は行われていない。
この二つを並べると、判断の境界が見えてくる。PostgreSQLの全文検索はデータベースの中で完結し、語形正規化・ストップワード除去・近接ランキングを追加の外部依存なしに扱える。一方、概念的な類似度検索や全文検索とベクトル検索の同時実行が要件になった時点で、専用サービスへの移行を検討するコストが現実的な選択肢として浮上する。どちらが優れているかではなく、「キーワードの完全一致で十分か、意味的な類似検索も必要か」という要件の確認が、先に行うべき作業だ。
出典
更新履歴
- rev.1公開日
