【機械学習を学ぼう】#3 最小２乗法

　引き続き涌井 良幸著「Excelでわかる機械学習 超入門 ―AIのモデルとアルゴリズムがわかる 」で勉強しています。

目次です。

1章 機械学習の基本

　1．機械学習とAI，そして深層学習

　2．教師あり学習と教師なし学習

2章　機械学習のための基本アルゴリズム

　1．モデルの最適化と最小2乗法

　2．最適化計算の基本となる勾配降下法

　3．ラグランジュの緩和法と双対問題

　4．モンテカルロ法の基本

　5．遺伝的アルゴリズム

　6．ベイズの定理

3章 回帰分析

　1．重回帰分析

　2．重回帰分析をExcelで体験

4章 サポートベクターマシン（SVM）

　1．サポートベクターマシン（SVM）のアルゴリズム

　2．サポートベクターマシン（SVM）をExcelで体験

5章　ニューラルネットワークとディープラーニング

　1．ニューラルネットワークの基本単位のユニット

　2．ユニットを層状に並べたニューラルネットワーク

　3．誤差逆伝播法（バックプロパゲーション法）

　4．誤差逆伝播法をExcelで体験

6章 RNNとBPTT

　1．リカレントニューラルネットワーク（RNN）の仕組み

　2．バックプロパゲーションスルータイム（BPTT）

　3．BPTTをExcelで体験

7章　Q学習

　1．強化学習とQ学習

　2．Q学習のアルゴリズム

　3．Q学習をExcelで体験

8章　DQN

　1．DQNの考え方

　2．DQNのアルゴリズム

　3．DQNをExcelで体験

9章 ナイーブベイズ分類

　1．ナイーブベイズ分類のアルゴリズム

　2．ナイーブベイズ分類をExcelで体験

　2章から進めていきます。

1．モデルの最適化と最小2乗法

　データ分析をする際は、まず数学的なモデルを作成します。できるだけ全てを説明できればいいですが、モデルが説明しきれない部分を最小にするというアプローチを「最適化」といいます。言い換えると、モデルはパラメーターと呼ばれる変数で規定されており、モデルで計算した値と実際のデータの誤差を最小にしていくアプローチです。最適化するために多用されるのが最小２乗法です。

　最小２乗法の説明はこちら。

　https://sci-pursuit.com/math/statistics/least-square-method.html

　私は、この本だと今ひとつわからなかったので、手持ちの高橋 信「マンガでわかる統計学 回帰分析編」を使いました。このマンガでの解法とエクセルのソルバーを使った解法をやってみました。

https://www.amazon.co.jp/dp/4274066142/ref=cm_sw_r_tw_dp_YF9TJJF53ETSSR8BHPBS

　わかったようで分かっていないので、じっくりやってくしかないですね。