学習理論の学習

統計的学習理論を学習してるときに思ったこととか

機械学習

SVM(Support Vector Machine,サポートベクターマシーン)その2

前回の記事の続きです. 前回導出した SVM の双対問題を導出します. 導入 前回の記事では,ハードマージンSVMが解く最適化問題を求めました. これは 変数,制約は 個の最適化問題です. 今回はこの問題の双対問題を考えてみようと思います. 双対形の導出 …

多項式カーネル

証明を考えながら一気書きしたので文章が拙いのは見逃してください(そうでなくとも拙いですが). 多項式カーネル 正の実数 に対して, 次の多項式カーネル は 次式で定義されます. 多項式カーネルは から へと写していると考えられるそうです. ただし,…

SVM(Support Vector Machine,サポートベクターマシーン)その1

はじめに 本記事は,Mohriさんの教科書を参考にしています. 非常に面白い教科書ですのでぜひ読んでみてください. Foundations of Machine Learning (Adaptive Computation and Machine Learning series)作者:Mohri, Mehryar,Rostamizadeh, Afshin,Talwalka…

汎化誤差とか経験誤差とか

はじめに 機械学習ではよく経験誤差を小さくするような関数(パラメータ)を学習することを目標にしますが, 実際のところなぜ経験誤差を小さくしたいのかわかっていなかったり, そもそも経験誤差の定義を知らない人も多いかと思われます. 実際,僕もその一…

BDD(Binary Decision Diagram)とは(直感的に)

はじめに この記事は,湊先生のpdf(BDD/ZDD を用いたグラフ列挙索引化技法, 離散構造処理系: その概要と最近の研究状況について), そしてKnuth先生のThe Art of Computer Programming Vol. 4, Fascicle 1などを参考にし, 自分が理解できるように図を入れ…