2.1

レコメンドには2種類ある。

collaborative filteringではコンテンツの内容については一切関知しない。コンテンツについて同じ動作がとられた場合には関連があるとみなされる。コンテンツを精査する必要がないために属性がよくわからないコンテンツについても適用できる。別名ユーザーベースレコメンドともよばれる。

contents based filteringはコンテンツの属性から共通点を見つけ出してレコメンドをする。例えば本のレコメンドを考えると、本のカテゴリ、同じ出版社、同じ出版時期がある。別名アイテムベースレコメンドとも呼ばれる。コンテンツに関す専門知識が必要になることが多い。

2.2

コンパイル

wget http://manning.com/owen/MiA_SourceCode.zip
cd tdunning-MiA-5b8956f
mvn install

1ntro.csvを現在のディレクトリにコピーする。

cp src/main/java/mia/recommender/ch02/intro.csv ./

実行する

java -cp ./target/mia-0.1-job.jar mia.recommender.ch02.RecommenderIntro
RecommendedItem[item:104, value:4.257081]

レコメンダを作ったのはいいが、その結果は誰も保証できないし、好みに合っているかはレコメンダされた本人しかわからない。あるいは無意識の好みもあるので本人自身も、これって自分の好みになのかなあ、と疑問を持つかもしれない。

レコメンダがどの程度正しいかを把握するための評価ができる。データを学習用とトレーニング用セットに分ける。まず学習用でモデルを作る。次にトレーニングセットにモデルを適用する。実際の好みと計算結果の好みの差分を計算する。

差分が0であれば最高にマッチしているレコメンダということになる。差分は２通りの値の求め方がある。算術平均と平方和平均。算術平均では0になってしまうので、平方和を使ったほうがよいだろう。

java -cp ./target/mia-0.1-job.jar mia.recommender.ch02.EvaluatorIntro
1.0

ここでは結果は1になる。このモデルを採用した場合1～5段階で好みを設定した場合1くらいはずれるという意味になる。割合でいうと20%となる。これを大きいとみるか小さいと見るかはレコメンダの精度をどの程度求めるかによる。

レコメンダの評価をする指標として適合率と再現率がある。

適合率 = TP に対して全体の正として予測された割合

再現率 = TPに対して全体の正である割合

適合率は引っ張り出した検索結果がどの程度正しいかの指標になる。検索結果が大量に出たとしてもノイズが多い、つまり間違った結果が多ければ適合率は低くなる。それに対して再現率は検索もれの指標となる。適合率が１００％であったとしても、検索漏れが２００％あった場合には検索エンジンとしては役に立たない。

java -cp ./target/mia-0.1-job.jar mia.recommender.ch02.IREvaluatorIntro
0.75
1.0

Item　2 に対する適合率が0.75であるから、検索結果の75%はただしいといえる。再現率は1.0は検索漏れがないことを意味する。