■

今日の勉強会はAROW(Adaptive Regularization Of Weight Vectors)の話。AROWは要するにオンライン学習の一例で、CW(Confidence Weighted Learning)をノイズに対して頑健になるようモデリングし直したものと思う。使いたい人は、詳しくはAROW は CW より幾分マシか - ny23の日記に書いてある。

オンライン学習自体あまり今まで触れてこなかったので(流行りなのはわかっているが)、オンライン学習は従来のSVMなどと違って、訓練データが１つ入る度にその訓練データに対してパラメータを更新して分類を行う、というもの。従来のSVMなどの機械学習と比較して収束が早いので学習時間がかからないのが売りだったが、反面CWでは誤り例に引っ張られやすく、ノイズが入ってきたときにそこに大きく引っ張られて精度が悪くなってしまう、という問題があったようだ。その点をAROWでは改善していて、パラメータの更新幅を制限する項を加えることで、ノイズに引っ張られにくいモデルを作る、というのが要旨。

@neubigさんが実際にSVMとの比較をやって持ってきていたが(このフットワークの軽さは僕も見習わないといけない)、基本的にSVMの方が精度は出て、学習時間も長くなって４倍程度だが、精度の悪い(＝ノイズの多い)コーパスを利用したときにはAROWの方が精度が出る場合もあるようで、オンライン学習云々よりはそちらの方に価値があるのかもしれない。

そういえばSLP@仙台(7月)のプログラムが発表された。対話周りが身内や知っている人ばかりなのはいつものことだが、去年の夏にインターンに行ったときに一緒に飯を食っていた木村君が対話の発表をするらしい。松山さんも同学年だし、こういう風に同世代の知り合いが同じ場所で発表をしているというのは何だかうれしい、と共に頑張ろうと思える。