LLM

Large Language Model（日本語では「大規模言語モデル」）

• Large … 大規模な
• Language … 言語、言葉
• Model … 学習した結果が詰まった塊

IPAのガイドラインは「自然言語処理を行うモデルとして、近年では、大規模言語モデル（Large Language Models、以下 LLMと呼称）が使用されます。」と書いたうえで、「その中でもLLMは、大量のテキストデータを学習した大規模な言語モデルを指します。」と説明しています。

言語モデルとは文章や単語の出現確率をモデル化したもので、直前の文章や単語に続く確率が最も高い単語を出力することができ、テキスト生成に利用されます。

— IPA『テキスト生成AIの導入・運用ガイドライン』

これを繰り返して文章を伸ばしていきます。要約も対話も、それぞれ別の仕組みがあるのではなく、同じ言語モデルの応用として実現されています（「そのため単なるテキスト生成だけでなく、チャットボットや文章要約などにも応用されます。」）。

ただし、製品として使えるのはこの段階の先です。次の語を予測できるようにした段階のモデルは、まだ質問に答えたり指示に従ったりするのが得意ではなく、その上に調整が重ねられています。「次の語を予測しているだけ」と言い切るのは不正確で、正確には「中核がそれで、上に調整が乗っている」です。

生成AIは事実に基づかない誤った情報をもっともらしく生成することがあり、これをハルシネーション（幻覚）と呼ぶ。

— 総務省『令和6年版 情報通信白書』

どこまで言えるかは、資料によって差があります。NISTは「生成モデルの設計の仕方から自然に生じる結果」と位置づけています。一方でOpenAIは、自社の論文で**「ハルシネーションが避けられないのはベースモデル（調整前のモデル）に限る」「ハルシネーションしないモデルは容易に作れる」と述べています**（分からないときは答えない設計にすればよい、という論旨）。

したがって「AIの嘘は原理的に直らない」とは書けません。白書の「技術的な対策が検討されているものの完全に抑制できるものではないため」という表現が、現時点で確実に言える線です。

「LLMは検索して答えている」

モデル自体には検索機能がありません。 検索は、RAG（関連データを外部のデータベースから検索し、質問に追加情報として付けてから回答させる技術）やWeb検索ツールを組み合わせたときに行われます。

ただし注意点があります。ChatGPTやClaudeのような製品版には、この機能が既に組み込まれています。「LLMは検索しない」はモデル単体の話で、読者が普段触っているものには当てはまりません。

「前の会話を覚えている」

モデルへのリクエストは1回ごとに独立していて、過去のやりとりは毎回まとめて渡し直されています。一度に渡せるトークン数には上限があり、これをコンテキストウィンドウと呼びます。

こちらも注意点があります。製品側には会話をまたいで記憶する機能が別に用意されていることがあり、それはモデルの外側の仕組みです。

「文字を1つずつ見ている」

文字ではなくトークン（文字・単語の一部・単語・記号などに相当する処理単位）という単位で処理しています。Anthropicの用語集によれば、Claudeの場合、1トークンは英語で約3.5文字程度に相当します。ただし正確な数は言語によって変わります。このため、文字レベルの操作（数える・並べ替える・綴る）が不得意であることが、査読付きの研究で報告されています。

こう言うと伝わらない 「AIが嘘をつくんですけど、直せますか」

こう言えば一度で済む 「社内規定について聞くと、存在しない条文を答えます。規定のPDFを参照して答えるようにできますか」

後者なら、相手はRAGを足す話だと判断できます。