「精度UP・使いやすさUP」の実装を一気に載せます。必要なところだけコピペ導入でOKです。 6) 精度ブースト:再ランカー+BM25のハイブリッド検索 ベースは埋め込み検索(FAISS)ですが、伝統的なBM25と再ランカーを足すと命中率がグッと上がります。
BM25の仕組み 「検索」と聞くと、単にキーワードが含まれているかチェックするだけと思われがちですが、BM25はもっと「人間らしい」判断をします。 例えば、あなたが 「Pythonのリスト内包表記」 と調べたとしましょう。
Instead of chunking code based on characters or lines, we can use AST to chunk code based on logical units such as classes and functions. This allows us to create more meaningful chunks that are ...