RAG（Retrieval-Augmented Generation、検索拡張生成）は、LLMに外部知識を与えるための最も実用的な手法です。社内ドキュメント、商品データベース、ヘルプ記事など、LLMの学習データに含まれない情報を活用してAIエージェントを構築する際の基盤技術となります。
RAGの仕組み
RAGのフローは3ステップで構成されます。まずドキュメントをチャンク（小さな断片）に分割し、各チャンクをベクトル化してベクトルDBに格納（インデックス作成）。ユーザーの質問が来たら、その質問もベクトル化して類似度検索を実行し、関連するチャンクを取得（検索）。最後に、取得したチャンクとユーザーの質問をLLMに渡して回答を生成します（生成）。
チャンク設計のコツ
RAGの精度を最も左右するのがチャンク設計です。一般的には500-1000トークンのチャンクサイズが推奨されますが、ドキュメントの性質によって最適値は異なります。マニュアルのようにセクションが明確な文書は見出し単位で分割し、自由記述の多い文書は固定長+オーバーラップで分割するのが効果的です。
ベクトルDB選定
Pineconeはフルマネージドで運用が最も簡単。Qdrantはオープンソースでセルフホスト可能、フィルタリング機能が強い。Chromaは開発用途に最適で、ローカルで手軽に試せます。1万件以下のドキュメントならChromaで十分、それ以上のスケールならPineconeかQdrantを検討しましょう。
精度改善テクニック
Hybrid Search：ベクトル検索とキーワード検索を組み合わせることで、両者の弱点を補完。固有名詞や型番などの正確なマッチが必要なケースで効果を発揮します。
Re-ranking：検索結果をLLMで再順位付けし、本当に関連性の高いチャンクだけをプロンプトに含めます。Cohereの Rerank APIやBGEリランカーが広く使われています。
メタデータフィルタリング：ドキュメントの更新日、カテゴリ、著者などのメタデータでフィルタリングすることで、検索精度を向上させます。特に定期的に更新される文書では、最新版のみを検索対象にするのが重要です。
