土曜日, 8月 05, 2006

False positive

 判定誤りにはfalse positiveとfalse negativeがある。スパム判定においては、正当なメールをスパムと誤認するのがfalse positive、スパムを見逃すのがfalse negativeである。false positiveが多いのは大変困る。まだしもfalse negativeの方がましである。
 しかるに、S25R方式はどうか。false negativeは非常に少なく、「予想以上の効果に驚いた」という声が聞かれるほどである。一方、false positiveは、組織サイトでは500~1000件のホワイトリスト登録に追われるほど多い。なにしろ、逆引きできなければ蹴るわ、ホスト名が「mail1-2」とか「server00102」とかだったら蹴るわで、やることが乱暴である。
 ところが、false positiveの多さにねを上げてS25R方式の運用を断念したという声は聞かれない。もちろん、ホワイトリスト作りの手間をなくしたいならRgreyを使えばよいということもあるが、かなりの人がホワイトリスト作りの苦労を乗り越えて素のS25R方式を使い続けている。これはなぜだろうか。
 まず、S25R方式においてはfalse positiveは致命的なものではない。送信元がリトライしているうちにホワイトリスト登録することによってメールは受信できるからである。その作業は、件数が多いと労力はかかるが、簡単である。しかも、ホワイトリスト登録が進むほどにfalse positiveは減っていく。
 心理的な理由も考えられる。スパムフィルタでfalse negativeを減らす作業は、スパムを受けるたびに「またか、コンチクショー」という怒りを伴うので、精神的ストレスが高い。それに対してS25R方式では、導入したとたんにスパムとのいたちごっこはほとんど終わってしまう。あとはホワイトリスト登録に追われることになるが、正当なメールを救済する作業には怒りを伴わないので、精神的ストレスが低くてすむ。しかも、正当なメールをユーザーに届けてあげるという義務感から、一生懸命になれる。また、スパムから解放された快感を維持するためなら、ホワイトリスト登録作業の繰り返しも苦にならない。
 このような心理は、佐世保高専の中原さんのレポートからも読み取れる。中原さんは、SpamAssassinに判断基準を教え込んでいた作業と比べて、S25R方式でのホワイトリスト登録を「それは遥かに実のある作業といえました」と書いておられる。中原さんにとってホワイトリスト登録作業は、不快感を伴わず、喜びを伴うものだったに違いない。
 もっとも私は、人間のこういう心理まで考慮してS25R方式を開発したわけではない。なにしろ、組織サイトではfalse positiveが多いということは、導入者の方々からの報告を聞くまでわからなかったのだから。

0 件のコメント: