PDFを読み込ませたら文字化けした話(RAG構築でつまずいたポイント) 最近、PythonでRAG(Retrieval-Augmented Generation)を作っていました。 「PDFを読み込んで、質問に答えてくれる仕組み」を作ろうとしたのですが、思わぬところでハマりました。 今日はその体験 ...
簡単な実装例、原則、コードの説明、およびCRAGに関する洞察 この記事では、オープンブックテスト(試験中に教科書や自分のノート、場合によってはオンライン資源を参照することが許可される試験形式)に参加するプロセスをCRAGを使って実証してみます。
RAG(Retrieval Augmented Generation、検索拡張生成)は、生成AI(人工知能)の回答精度を高める仕組み。大規模言語モデル(LLM)を基に回答を生成する際にユーザーの質問文に応じた知識情報を参照可能にし、もっともらしい誤りを回答する「ハルシネーション(幻覚)」を防ぐ。