拡散モデル
何をするモデルか
原論文の定義から始めます。
（拡散モデルとは）変分推論を用いて学習され、有限の時間の後にデータに合うサンプルを生成する、パラメータ化されたマルコフ連鎖である
— Ho, Jain, Abbeel「Denoising Diffusion Probabilistic Models」NeurIPS 2020 より和訳
これだけでは何をしているか見えないので、次の文が重要です。
この連鎖の遷移は、拡散過程を逆向きにたどるように学習される。拡散過程とは、サンプリングとは逆の方向にデータへ少しずつノイズを加え、信号が壊れるまで続けるマルコフ連鎖である
— Ho, Jain, Abbeel「Denoising Diffusion Probabilistic Models」NeurIPS 2020 より和訳
学習しているのは「ノイズを足す過程の逆」です。 順番で書くとこうなります。
- 元の画像に、少しずつノイズを足していく
- 続けると、元の信号が壊れて、ノイズだけの状態になる
- この過程を逆向きにたどることをモデルに学習させる
- 生成時は、ノイズの状態から始めて、逆向きに1段ずつ戻す
「ノイズを足す側」は学習しません。 決まった手順でノイズを足し、その逆をたどる側を学習させます。 原論文は、この性質が他の手法との違いだと述べています（「拡散モデルを他の種類の潜在変数モデルから区別するのは、近似事後分布にある」）。
どんなノイズか
拡散が少量のガウスノイズから成る場合、サンプリングの連鎖の遷移も条件付きガウス分布に設定すれば十分である
— Ho, Jain, Abbeel「Denoising Diffusion Probabilistic Models」NeurIPS 2020 より和訳
「少量ずつ」が条件に入っています。 一気に壊して一気に戻すのではなく、小さな段を多数重ねる構造です。
着想の出どころも論文に書かれています。
我々は、非平衡熱力学からの考察に着想を得た潜在変数モデルの一種である拡散確率モデルを用いて、高品質な画像合成の結果を示す
— Ho, Jain, Abbeel「Denoising Diffusion Probabilistic Models」NeurIPS 2020 より和訳
「拡散」という名前は、物質が広がっていく物理の過程から来ています。
墨を落とした水を、巻き戻して見る作業です。
水に墨を1滴落とすと、少しずつ広がって、最後は全体が均一に濁ります。ここまでが「ノイズを足す」側です。 その映像を逆再生すれば、濁った水から1滴の墨の形が戻ってきます。
拡散モデルは、この逆再生のやり方を学習しています。 だから生成時は、濁った状態（ノイズ）から始められます。
論文が示した結果
条件を付けないCIFAR10のデータセットにおいて、Inception score 9.46、当時最良の FID score 3.17 を得た
— Ho, Jain, Abbeel「Denoising Diffusion Probabilistic Models」NeurIPS 2020 より和訳
2020年の時点の、特定のデータセットでの数値です。 現在のモデルの性能を表すものではありません。
画像生成の文脈での位置づけ
Googleの用語集は、基盤モデルの説明の中でこう書いています。
それらは学習データからパターンを学ぶ。たとえばテキスト生成のための言語のパターンや、画像生成のための拡散の手法である
— Google Cloud Generative AI glossary より和訳
テキスト生成と画像生成で、使う手法が違うという整理です。 LLMが次の語の確率を扱うのに対し、画像生成ではこの拡散の手法が使われます。
総務省の白書も、性能向上の理由として両方を並べています。
まず、ディープラーニング（深層学習）やトランスフォーマーモデルの開発・大規模化により、自然言語処理や画像生成などのタスクにおけるモデルの精度が飛躍的に向上した。
— 総務省『令和6年版 情報通信白書』
『AI事業者ガイドライン』も、スキル標準の学習項目として「大規模言語モデル・画像生成モデル・オーディオ生成モデル」を並べており、画像生成モデルは別のカテゴリとして扱われています。
日本の公的資料には定義がありません
「拡散モデル」の定義は、取得済みの日本の公的資料（総務省・IPA・経済産業省）の中には見つかりませんでした。 この記事の定義は、査読付きの原論文（階層4）とベンダーの技術ドキュメント（階層3）に依っています。
IPAのガイドラインは、そもそも対象から外していると明記しています。
画像生成AIや動画生成AIなど、テキスト生成以外のAI技術を対象外とします。
— IPA『テキスト生成AIの導入・運用ガイドライン』
公的資料の整備が、テキスト生成に比べて進んでいない領域だと読めます。 画像生成を業務で使う場合、ハルシネーションのように公的資料で裏が取れる論点が少ない点は、そのまま注意点になります。
こう言えば一度で済む
こう言うと伝わらない 「画像生成AIの精度を上げたいです」
こう言えば一度で済む 「商品写真の背景だけを差し替えたいです。商品の形は変えたくないので、元画像を保ったまま背景を生成できますか」
後者なら、相手は何を固定して何を生成するかを設計できます。 拡散モデルはノイズから作る仕組みなので、「元を保つ」は別の指定として必要になります。