みなさん、OpenAI、気になっていますよね。
ChatGPTに質問をして、業務に活用していらっしゃる方も多いと思います。
少しChatGPTに慣れた頃に聞くお話、
「ChatGPTは間違った回答も多い」
文章作成や、悩み相談は上手ですが、
質問にトンチンカンな返答をされたのでは、
社内情報やお客様への自動回答に利用することができなくて、困ってしまいます。
しかし、お客様への自動回答Chatを設置し始めている会社もよく見る！
生成AIで自社の情報を回答させるには、みんなどうやってるの？
という疑問が湧いてきますよね。
今回は、その仕組みに使われる技術、「RAG」について、ご説明させていただきます。
RAGとは？
弊社では先日、近大発ベンチャー企業の株式会社Xer様が開発中の
生成AIを利用した管理システムをご紹介いただき、その中で、RAGについて学ばせていただきました。
RAGとは、「Retrieval Augmented Generation」の略で、「検索拡張生成」。
つまり、生成AIの言語生成能力と、「検索」の技術を合わせて拡張する仕組みのことです。
生成AIは言語を作るのが上手。
でも知識は過去のものしかないから、それ以外は嘘で答えちゃう。
では、こちらが正しく認識してほしい、わかっている情報は、
「検索」の技術を使って、正解を導いてもらおう！
と言うわけですね。
例えば、
「うちの会社の有給日数て何日？」とChatGPTに聞きたくなりました。
「弊社の1年目有給日数は10日」という、規則があり、就業規則としてPDFデータがあったとします。
でもこれは、弊社の固有情報ですので、ChatGPTは知りません。
11日とも、12日とも勝手に答えちゃいます。
AIは、機械学習モデル、というデータ解析法を使って、知識としています。
モデルを使って「弊社の1年目有給日数は10日」と教え込むこともやぶさかではありませんが、
教育者「弊社の1年目有給日数は10日だよ」
AI「10日…11日…？」
教育者「10日！」
AI「10日…？」
教育者「10日」
AI「10日！」
教育者「そう！」
と、こういう具合に、モデルを使って教育するのは、膨大なデータと回数が必要になります。
それを解決するのがRAGです。
弊社の就業規則PDFの内容を保存しておいて、
質問から語句を抜き出し「検索」技術を使い回答に利用する。
これで、「弊社の1年目有給日数は10日」という、
ひとつの「正解」を正しく回答することができるのです。
ただ、今までみなさんの中で常識としてあった「検索」とは、少し違います。
よくある「検索」は、「キーワード検索」と呼ばれるもので、
検索された語句に対して、関連性の高いデータを出力します。
Google検索などで利用されている技術です。
しかし、ChatGPTなどの生成AIは、「対話」「プロンプト」を元に、
自分の持つ知識から（正しい正しくないはおいておいて）回答してくれるものですので、少し相性が悪い。
一方でRAGを使うときによく用いられる「検索」方法は、「セマンティック検索」と呼ばれます。
就業規則PDFを例に説明させていただくと、
- 就業規則PDFを読み込み、その文章をいくつかに分割（チャンク）する。
- 各チャンクをベクトル化（少し難しいですが、「文章」を「数値化」する、というとわかりやすいかもです）する。
- チャンクに分割してベクトル化したデータを、ベクトルデータベースに格納する。
- 質問された文章（プロンプト）をベクトル化する。
- 保存されたベクトルと、プロンプトのベクトルを比較して、類似度を判定。
- 5で類似のの高いベクトルをテキストに戻して、回答として生成しなおす。
これで、就業規則の知識をもとに、
ChatGPTは正しい回答をユーザーにお届けすることができるようになりました！
仕組みとしてはわかったけど、開発できないよ、どうしたらいい？
というお悩みがございましたら、
まずは弊社へご相談を！お待ちしております。
