ディープラーニング
資料での説明
深層学習とは、多数の層から成るニューラルネットワークを用いて行う機械学習のこと
— 総務省『令和元年版 情報通信白書』
英語では
Deep Learning（略して DL）
- Deep … 深い。層を多数重ねていることを指す
- Learning … 学習すること
日本政府の文書では「深層学習」が主で、「ディープラーニング」は併記されます。
何が変わったのか
従来型の機械学習では、「何に着目するか（特徴量）」を人が指示していました。深層学習では、ここが変わります。
深層学習により、コンピューターがパターンやルールを発見する上で何に着目するか（「特徴量」という。）を自ら抽出することが可能となり
— 総務省『令和元年版 情報通信白書』
注意点として、これは人間の作業がゼロになるという意味ではありません。AWSの表現は「最小限の人的介入で特徴量エンジニアリングを行う」です。
層を重ねると何が起きるか
層ごとに、扱うものの粒度が変わっていきます。画像認識についての記述が、査読付きの論文にあります。
1層目で学習される特徴は、画像内の特定の向きと位置におけるエッジの有無を表すのが典型的である。
2層目は、エッジの位置が多少ずれていても、エッジの特定の配置を見つけることでモチーフを検出するのが典型的である。
3層目はモチーフを、見慣れた物体の部分に対応するより大きな組み合わせへと組み立てることがあり、以降の層はそれらの部分の組み合わせとして物体を検出する。
— LeCun, Bengio, Hinton "Deep learning", Nature 521, 436–444 (2015) より和訳
工場の流れ作業です。
1人目は「線があるか」だけを見る。2人目は1人目の報告を受けて「線がどう並んでいるか」を見る。3人目は「その並びは物体の一部だ」と見る。1人の仕事は単純なのに、並べる段数を増やすと、全体として複雑な判断ができる。この段数が「深さ」です。
何層から「深い」のか
「何層以上を深層と呼ぶか」について、調べた範囲では公的な基準が見つかりませんでした。 白書も「多数の層」とだけ書いています。ここは明確な線引きがないものとして扱ってください。
弱点も一緒に来ます
着目点を人が設計しないということは、なぜその判断になったのかを人が追いにくいということでもあります。AWSは、機械学習のモデルのほうが人が解釈しやすいことがあると記述しています。
そして、常に高精度というわけでもありません。中規模（約1万件）の表形式データでは、木ベースのモデルが深層学習を上回るという査読付きの研究結果があります。
機械学習との違い
| | 従来型の機械学習 | ディープラーニング | | --- | --- | --- | | 関係 | 大きい枠 | その中の手法の一つ | | 特徴量 | 人間が指示する | 自ら作り出す（人の作業がゼロになるわけではない） | | 得意なデータ | 構造化データ（表・数値） | 非構造化データ（画像・音声・文章） | | 必要なデータ量 | 特徴量1つあたり約50〜100件 | 特徴量1つあたり数千件から | | 理由の説明 | 比較的しやすい | しにくい | | 計算資源 | 相対的に少ない | 多くの計算資源を要する。実務ではGPU等で高速化される |
違いを1文で言うなら：「どこを見ればいいか」を人が指示するのが従来型の機械学習、それも機械が自ら作り出すのがディープラーニング。