ベイズの定理
それではその人間の知恵を入れることができる正則化というのは、どこから来ているのか。それを説明するには確率論の定理である「ベイズの定理」が最適だ。確率と統計の基本的な関係を示している。例えば「y=x+3」いう計算の際、通常学校で教わる基本的な話は、x=1のときはy=4というように、「xからyを知る」という順方向の話だった。
逆に「y=2のときにxはいくつか」という方程式の問題は、逆方向の話だ。この手の話が、世の中では重要なのではないか。こう言う原因が生じたとき、結果はこうでしたということを言うことは比較的に簡単だが、結果がこうなったのはなぜかを正しく突き止めるのは難しい。
観測結果がこうでした、とデータを渡されてそのデータはなぜそういう結果を導いてきたのか、原因を知ることは難しい。データから学び取ることで、その要因を探り当てることが機械学習の目標であることから、その難しさと価値がわかる。
しかし目の前にある現象には、関数では書き切れない不確実な要素が多くある。その不確実な要素を表現するために数学では確率を用いて積極的に扱う。ベイズの定理は、確率の世界での結果から原因を探る処方せんだ。つまり表と裏が適当に出てくるコインの不確実な振る舞いを見て、コインの表と裏の出やすさの違いを突き止めようとするわけだ。
その際、コインの表と裏が出る要因にはこういうものがあるという事前の知識を入れることができる。この事前の知識や情報を入れることが、まさに正則化という手法に対応しているのだ。
そうなると次なる目標は、より良い事前知識や情報を獲得することである。例えば、データを説明する要素は、実はそんなに多くないだろうという事前知識を入れるのが、スパースモデリングで利用されている正則化だ。その結果生み出される方法が「軟判定しきい値関数」を用いた回帰分析などが第二回で紹介した方法である。第3回で紹介したカンニングの検出に利用されたデシメーションアルゴリズムもそのたぐいだ。
ほかにも足し算のみが許されるなどの制限も正則化として働く。それが第4回に示した「非負値制約」（の行列分解）で使われた方法である。
もっと良い正則化はないか、もっと良い事前情報はないか。その答えは専門家の知識を機械学習に取り込むことにあると筆者は考える。
