深層学習

概要

イアン・グッドフェロー、ヨシュア・ベンジオ、アーロン・クールヴィルの3名によって書かれ、2016年にMIT Pressから原著"Deep Learning"として刊行された、深層学習(ディープラーニング)分野の体系的教科書。ベンジオはモントリオール大学教授としてこの分野の基礎理論を築いた研究者の一人であり、グッドフェローは敵対的生成ネットワーク(GAN)の考案者として知られる研究者である。日本語版はKADOKAWA(アスキー・ドワンゴ)から刊行されており、監訳を岩澤有祐・鈴木雅大・中山浩太郎・松尾豊(いずれも東京大学松尾研究室関係者)が務め、複数名の訳者によって翻訳されている。

本書は、深層学習を理解するために必要な数学的基礎(線形代数・確率論・情報理論・数値計算)の解説から始まり、実務で広く使われている代表的なネットワーク構造(全結合ネットワーク・畳み込みネットワーク・再帰型ネットワーク)とその学習手法を体系的に解説したうえで、当時最先端の研究トピック(表現学習・生成モデル・確率的グラフィカルモデル)までを一冊でカバーする、理論と実践の橋渡しを意図した構成になっている。刊行が2016年であるため、2017年以降に登場したTransformerアーキテクチャや、それに基づく大規模言語モデル(BERTやGPT系列)については扱われていない点には留意が必要だが、誤差逆伝播法・勾配降下法・正則化・畳み込み・再帰型ネットワークといった、現在の深層学習研究の土台となっている基本原理については、刊行から日を経てなお参照される価値を持つ内容として広く評価されている。

本の構成

本書は3部構成、全20章からなる。

第I部 応用数学と機械学習の基礎では、線形代数、確率論と情報理論、数値計算(勾配降下法や制約付き最適化などアルゴリズム実装上の数値的な注意点)、そして機械学習の基礎(過学習と汎化、バイアスと分散、最尤推定、教師あり学習・教師なし学習の枠組み、確率的勾配降下法)を扱う。ニューラルネットワーク固有の話題に入る前に、深層学習を理解するために必要な数学・統計・従来型機械学習の土台を丁寧に整理している点が特徴である。

第II部 現代的な実践的深層ネットワークでは、多層パーセプトロンに相当する深層順伝播型ネットワーク、過学習を抑えるための正則化手法、深層モデルを学習させるための最適化手法、画像認識に強みを持つ畳み込みネットワーク、時系列・系列データを扱う再帰型ネットワーク(RNN)、そして深層学習プロジェクトを実務でどう進めるかという実践的方法論と、コンピュータビジョン・音声認識・自然言語処理などへの応用事例を扱う。

第III部 深層学習研究では、線形因子モデル、オートエンコーダ、表現学習、深層学習のための構造化確率モデル、モンテカルロ法、分配関数(正規化定数)への対処、近似推論、そして深層生成モデル(ボルツマンマシン・変分オートエンコーダ・敵対的生成ネットワークなど)といった、当時の研究最前線にあったトピックを扱う。この部は前半2部に比べて数学的に高度で、研究者や大学院生を主な読者として想定した内容になっている。

主要な内容

数学的基礎と機械学習の基本概念

線形代数の章では、深層学習で頻出する行列演算・固有値分解・特異値分解を、確率論と情報理論の章では、確率分布・期待値・情報量(エントロピー、KLダイバージェンス)を、それぞれニューラルネットワークの文脈でなぜ必要になるかという動機づけとともに解説する。機械学習の基礎の章では、訓練誤差と汎化誤差の違い、モデルの複雑さと過学習・未学習(バイアスと分散のトレードオフ)の関係、正則化の必要性、そして最尤推定に基づく学習アルゴリズムの一般的な枠組みを提示し、後続の章で扱う深層モデルの学習が、この古典的な統計的機械学習の枠組みの延長線上にあることを明確にする。

深層順伝播型ネットワークと誤差逆伝播法

なぜ「深い」ネットワークが有効なのかという問いに対し、単純な線形モデルでは表現できないXOR問題を例に、隠れ層を導入し非線形な活性化関数を挟むことで複雑な関数を表現できるようになる過程を丁寧に説明する。多層ネットワークのパラメータをどう学習させるかという中核的なアルゴリズムである誤差逆伝播法(バックプロパゲーション)については、計算グラフという表現を用いて、出力層から入力層に向かって連鎖律に基づき勾配を効率的に計算する仕組みを、数式と図の両面から詳細に導出する。

正則化と最適化

過学習を防ぐための技法として、パラメータノルムに罰則を課すL1・L2正則化、学習途中で検証誤差が悪化し始めた時点で学習を打ち切る早期終了、学習データを人工的に加工して水増しするデータ拡張、そして学習中にランダムにユニットを無効化するドロップアウトなど、実務で広く使われる正則化手法を横断的に整理する。最適化の章では、確率的勾配降下法を出発点に、モーメンタム法、AdaGrad、RMSProp、Adamといった学習率を適応的に調整する発展的な最適化アルゴリズムを、それぞれの数式とともに比較する。また、深いネットワーク特有の学習の難しさとして、勾配消失・勾配爆発の問題と、バッチ正規化などによる緩和策にも触れる。

畳み込みネットワークと再帰型ネットワーク

畳み込みネットワークの章では、画像のような格子状データに対して、全結合層に比べてパラメータ数を大幅に削減しつつ局所的な特徴(エッジやテクスチャ)を抽出できる畳み込み演算とプーリング演算の仕組みを、LeNetやAlexNetといった歴史的に重要なアーキテクチャを踏まえながら解説する。再帰型ネットワークの章では、可変長の系列データを扱うためのネットワーク構造として、隠れ状態を時間方向に伝播させる基本的なRNNの仕組みと、長期依存関係の学習を困難にする勾配消失問題、それを緩和するために考案されたLSTM(長短期記憶)やGRU(ゲート付き回帰型ユニット)といったゲート機構付きのアーキテクチャを扱う。

表現学習と生成モデル

第III部では、生データから有用な特徴表現を自動的に学習させる「表現学習」という考え方を軸に、入力を圧縮してから再構成することで特徴を学習するオートエンコーダや、データの背後にある低次元の構造(多様体)を仮定する多様体学習の考え方を扱う。生成モデルの章では、観測データを生成する確率分布そのものを学習しようとするアプローチとして、制限ボルツマンマシンに代表される確率的グラフィカルモデル、変分推論に基づく変分オートエンコーダ(VAE)、そして著者の一人であるグッドフェロー自身が考案した敵対的生成ネットワーク(GAN、生成器と識別器を互いに競わせることで本物らしいデータを生成する枠組み)を、それぞれの学習の難しさ(分配関数の計算困難性など)とともに解説する。

具体例

XOR問題は本書全体を通じて繰り返し参照される最も基本的な具体例で、線形分離不可能なこの単純な論理演算が、隠れ層を1層加えるだけで正しく学習できるようになる様子を通じて、多層ネットワークの必要性そのものを説明する題材として使われている。

畳み込みネットワークの解説では、手書き数字認識のために1990年代に考案されたLeNet-5、および2012年のILSVRC画像認識コンペティションで従来手法を大幅に上回る精度を示し深層学習ブームの契機となったAlexNetが、具体的なアーキテクチャの例として取り上げられる。

応用の章では、音声認識における音響モデルへの深層学習の適用、自然言語処理における単語の分散表現(word embedding)の学習、機械翻訳におけるエンコーダ・デコーダ構造の初期の試みなど、当時実用化が進みつつあった応用領域の具体的な成功例が紹介される。

生成モデルの具体例としては、敵対的生成ネットワークによって本物と見分けがつかない画像を生成する仕組みが、生成器と識別器という2つのネットワークが互いに騙し合い・見破り合う「ミニマックスゲーム」として説明され、変分オートエンコーダについては、手書き数字画像(MNISTデータセット)の潜在空間を連続的に補間することで、数字の形が滑らかに変化していく生成例が示される。

実践への応用

本書は、TensorFlowやPyTorchといった深層学習フレームワークの使い方を教える実装書ではなく、それらのフレームワークがブラックボックスとして実行している演算(誤差逆伝播、勾配降下、正則化)の背後にある数学的原理を理解するための基礎教養書として位置づけられる。実務でモデルが期待通りに学習しない場合に、訓練誤差と検証誤差のギャップから過学習・未学習のどちらが起きているかを診断し、正則化を強めるかモデル容量を増やすかを判断するといった、実践的方法論の章で示される診断的アプローチは、現在でも通用する基本的なデバッグの考え方として応用できる。

また、なぜバッチ正規化や特定の最適化アルゴリズム(Adamなど)が広く使われているのかという「なぜ」の部分を理解することで、単にライブラリのデフォルト設定を使うだけでなく、問題設定に応じてハイパーパラメータや正則化手法を適切に選択・調整する判断力を養う基礎になる。研究者にとっては、より新しいアーキテクチャ(Transformerなど)を学ぶ前提知識として、勾配消失問題やアテンション機構が解決しようとした課題の背景(RNNの長期依存関係学習の困難さ)を理解するうえでも参照される。

位置づけ・評価

刊行当時、深層学習という急速に発展しつつあった分野を包括的にまとめた初の本格的教科書として高く評価され、しばしば「深層学習のバイブル」と称された。著者の一人であるヨシュア・ベンジオは、ジェフリー・ヒントン、ヤン・ルカンとともに2018年にチューリング賞を受賞した深層学習分野の基礎を築いた研究者であり、本書はその中心人物自身の手による解説という点でも権威ある位置づけを持つ。

一方で、原著刊行が2017年の論文"Attention Is All You Need"によるTransformerアーキテクチャの提案以前であるため、それ以降に急速に発展した自己注意機構や大規模言語モデル(BERT、GPTシリーズなど)については扱われていない。この点で、本書は深層学習の「歴史的な集大成」としての性格と、「現代の主流アーキテクチャを学ぶ前提となる基礎理論書」としての性格の両方を併せ持っており、最新の大規模言語モデルの仕組みを学ぶ前に、誤差逆伝播・畳み込み・再帰型ネットワーク・生成モデルといった土台となる概念を体系的に押さえておくための書物として、刊行から日を経てなお参照され続けている。