学習理論の学習

統計的学習理論を学習してるときに思ったこととか

統計的学習理論

SVM(Support Vector Machine,サポートベクターマシーン)その2

前回の記事の続きです. 前回導出した SVM の双対問題を導出します. 導入 前回の記事では,ハードマージンSVMが解く最適化問題を求めました. これは 変数,制約は 個の最適化問題です. 今回はこの問題の双対問題を考えてみようと思います. 双対形の導出 …

多項式カーネル

証明を考えながら一気書きしたので文章が拙いのは見逃してください(そうでなくとも拙いですが). 多項式カーネル 正の実数 に対して, 次の多項式カーネル は 次式で定義されます. 多項式カーネルは から へと写していると考えられるそうです. ただし,…

汎化誤差とか経験誤差とか

はじめに 機械学習ではよく経験誤差を小さくするような関数(パラメータ)を学習することを目標にしますが, 実際のところなぜ経験誤差を小さくしたいのかわかっていなかったり, そもそも経験誤差の定義を知らない人も多いかと思われます. 実際,僕もその一…