Rによる機械学習 最尤推定法その1

よくある例題を使って最尤推定法をやってみます

> training
 [1]  0.02841715  0.34097049  1.37103609  0.52697056  0.88287394  0.20673168
 [7] -0.92268387 -1.41716486 -0.94624667 -0.56053292  0.21504500
> test
 [1]  0.2744391  0.2354888  1.0005627  0.7502364  0.5542613  0.1038660
 [7] -0.7504576 -0.2694111 -0.9737203 -0.5597848  0.2300776

グラフはtrainingのデータをプロットしています

ある関数f(x)にノイズεが含まれていますことがわかっています
ノイズεは確率変数で何らかの確率分布に従っています

y=f(x)+ε

このデータからf(x)を推定することを考えます
こういった問題は最小二乗法や最尤推定法が用いられます

今回は最尤推定法を用いてf(x)を推定してみようと思います。
最尤推定法は以下のステップからなります

⓪ノイズの確率分布を仮定する。確率分布を定めるパラメータを導入する(平均、分散など)
①関数形を仮定する。関数を定めるパラメータを導入する(例えばg(x)=axのaがパラメータ)
②観測されたデータが出現する確率Pを計算する
③Pが最大になるようなパラメータを決める

最尤推定法は

「観測されたデータが最も出現確率が高いデータのはずだ」

という仮説のもとでパラメータを決定します

これは例えば表が確率q、裏が確率1-qででるコイン(pは未知)を5回投げて
表、表、表、裏、表
と出た時にq=4/5と推定するのが最も合理的だ、というのと同じ考え方です

ちなみにコインの例で最尤推定法を行うと
観測されたデータが出現する確率PはP=(1-q)q^4となってこれを最大化するようなpは

∂P/∂q=0よりq=4/5となります

TeXかなんかで数式を入れたかったのですが、何が一番良いのか模索中なので続きはまた次回