日曜日, 7月 20, 2008

信じられない阻止率

 2007年9月から、私の息子のアドレス(私のサーバにアカウントを設けている)にスパムが着信し始めた。オンラインショッピング会社から「サーバが侵害されてお客様の個人情報が漏洩しました」という詫び状が郵送されてきたので、息子のアドレスがここからスパマーに漏洩したと思われる。
 着信したスパムの数は、次のように変化してきた。

2007年9月:3通
10月:2通
11月:2通
12月:3通
2008年1月:6通
2月:5通
3月:11通
4月:3通
5月:2通
6月:0通

 3月をピークに減り始め、5月16日を最後に着信が途絶えて、7月20日まで着信していない。着信が減ったのは、S25Rでブロックし続けたために、送達率を重視するスパマーの多くが息子のアドレスへの送信をあきらめたからに違いない。
 しかし、息子のアドレス宛のスパムアクセスが途絶えたわけではない。拒絶ログソーティングスクリプトに手を加えて息子のアドレス宛のアクセスを抽出してカウントした推定メッセージ数は、週50通ほどになっている。なのに9週間にわたって1通も着信していない。推定約450通押し寄せたスパムに対して阻止率なんと100%。「450通につき着信は1通未満」と考えても、阻止率は99.8%以上ということになる。
 おそらく、今も息子のアドレス宛にスパムを送り続けているスパマーのほとんどは送達率に無頓着。そういうスパマーは、サーバを経由させずにボットを使っているから、S25Rが大きく効いているのだろう。S25R方式がいかにボットに強いかを物語るデータだと思う。

エクスパンションアドレスを設定していたら返金なし

 前回の記事「OptPlusの返金はない?」を読み返していてふと気が付いた。
 返金プログラム申請フォームの「利用条件の確認」欄に、チェック条件の一つとして

「利用中のメールアドレスは、他のメールアドレス(エクステンションアドレスを含む)から転送もしくは設定していません」

というのがある。これをまともな日本語に直すと、

「利用中のメールアドレスには、他のメールアドレスから転送しておらず、また、エクステンションアドレスを設定してもいません。」

ということになるだろう。
 これは何を意味するか。エクスパンション(=エクステンション)アドレスを設定していたら、通常のアドレスに宛てられたスパムが着信したとしても返金してもらえないということである。
 おそらく、スパムのメールヘッダを見ても、どのアドレスに宛てられて自分に届いたかがわからないことがあるからだろう(*)。だから、たとえ通常のアドレスに宛てられたスパムだったとしても、エクスパンションアドレスに宛てられたものでなかったと証明できないので、返金には応じられないということになるのだろう。
 なんたることか。バウンシングバック認証方式の弊害を回避するために用意されているエクスパンションアドレスという機能を使わざるを得なくて使ったら、絶対に返金に応じてもらえないのである。そういうからくりを仕組んでおいて、「スパムを1通でも受けたら返金します」と宣伝している。これでは詐欺的である。

(*) Postfixの場合は、SMTPのRCPT TOコマンドで通知された受信者アドレスがReceivedヘッダの中に記録される。私が受信したスパムの例を示す。

Received: from qb-out-0506.google.com (qb-out-0506.google.com [72.14.204.236])
 by a.reto.jp (Postfix)
 with ESMTP id 204CC1C473 for <webmaster@gabacho-net.jp>;
 Mon,  9 Jun 2008 21:18:07 +0900 (JST)
…(略)…
To: undisclosed-recipients:;

下線部が、RCPT TOコマンドで通知された受信者アドレスを示している。私は複数のアドレスでメールを受信しているが、どのアドレスに宛てられたメールだったかがここからわかる。しかし、MTAの機能あるいは設定によっては「for …」が記録されないこともある。

土曜日, 7月 19, 2008

OptPlusの返金はない?

 Opt Plus ASPは「スパムを1通でも受けたら返金します」と豪語しているが、返金には条件がある。返金プログラム申請フォームの「利用条件の確認」欄に次のように書いてあり、すべての条件に適合することを利用者が誓約しなければならない。

□バウンシングバック機能はONにしていました
□ホワイトリストに登録されていないメールアドレスからのスパム(迷惑)メールを受信しました
□該当のメールはペンディングリストからインポートしたものはありません
□利用中のメールアドレスは、他のメールアドレス(エクステンションアドレスを含む)から転送もしくは設定していません
□同一のメールサーバもしくは同一ドメインからのメールではありません

 受けたスパムの送信者アドレスがホワイトリストに登録されているアドレスだったら、返金の条件からはずれる。このことから、知人のアドレスや、自分が受信しているメールマガジンのアドレスを送信者アドレスにかたったスパム(2007年5月27日「バウンシングバック認証の破り方」参照)を受けても返金してもらえないことがわかる。
 また、バウンシングバック認証にかけないように登録した別アドレスであるエクスパンションアドレス(上記の申請フォームではエクステンションアドレスと書いてあるが、同じ意味だろう)に宛てられたスパムも、返金の条件からはずれる。だから、メーリングリストにエクスパンションアドレスで参加したらアドレスが漏洩してスパムを受けたという場合(6月6日「メーリングリストはOptPlusの鬼門」参照)も返金されない。オンラインショッピングの確認メールをバウンシングバック認証にかけないようにエクスパンションアドレスを登録したら、そのオンラインショッピングのサーバが侵害されてアドレスが盗まれ、スパムを受けたという場合(実際、私の息子はそういう被害を受けている)も同様である。

 では、ホワイトリストに登録されていなかったアドレスからのスパムに対してバウンシングバック認証要求メールが返され、スパマーがまともに認証手続きをした場合、あるいは、送信者アドレスが実在の他人のものであり、アドレスをかたられてバウンシングバック認証要求メールを受けた人が認証手続きをした場合はどうか。これは「ホワイトリストに登録されていないメールアドレスからのスパムメールを受信しました」の条件が満たされ、他のすべての条件も適合するならば、返金の対象になるように思える。
 ところが、6月8日「バウンシングバック認証はタブーの技術」にコメントしてくださったPyTaさんは、この場合も返金の対象にならないのではないかと指摘しておられる。なぜなら、認証手続きが行われた時点でその送信者アドレスはホワイトリスト登録されるので、「ホワイトリストに登録されていないメールアドレスからのスパムメールを受信しました」の条件が満たされなくなるというのである。確かに理屈は通っている。
 PyTaさんいわく、OptPlusはホワイトリスト登録されたアドレスからしかメールを受けないシステム。だから、「ホワイトリスト登録されていないアドレスからスパムを受けた」という条件は成立し得ない。もしその条件が成立するなら、システムの根幹が壊れているということだから、請求すべきは返金でなく解約である――と。
 本当のところはどうなのかは、ベンダーに問い合わせてみなければわからない。しかし、PyTaさんは、ただ質問するだけでも住所や会社名が必須だというのでやめたとのこと。そこまで個人情報を明かさないと質問に応じてもらえないなら、私も問い合わせる気はない。
 Opt Plus ASPのサービスを買いたい人は(このブログを読んでもなおそう思う人はいないことを祈るが)、「スパマー自身またはアドレスをかたられた人が認証手続きをしたためにスパムが受信された時には返金されるのか」をベンダーに確認した方がよいだろう。

(OptPlusとバウンシングバック認証方式に関するすべての記事へのリンクはこちらの記事にあります。)

(続編)
エクスパンションアドレスを設定していたら返金なし

日曜日, 7月 13, 2008

外国から礼状をいただいた

 外国の方から、「あなたのスパムフィルタリングの研究に感謝します」というメールをいただいた。外国からも反響があって非常にうれしく思う。
 その人は、フィルタリング条件を少し変更し、「3ヶ月間でスパムは70~80%減少、偽陽性判定は1件だけ」という効果を得たそうである。おそらく、偽陽性判定の確率を減らすためにフィルタリング条件を緩めたのだろう。独自のフィルタリング条件も工夫したかもしれない。それにしても、偽陽性判定が3ヶ月で1件だけとは驚きである。交信相手の中に逆引きを設定していないサイトがほとんどないのだろうと思われる。
 オリジナルのフィルタリング条件では、ブラックリストと併せて阻止率97~99%を達成できるが、阻止率を下げてでも偽陽性判定を避けたいというポリシーも当然あるだろう。そういう工夫はそれぞれのサイトの自由である。いろいろな工夫があってよい。そうした工夫は、私のオリジナルのアイデアがあってこそ生まれる。私はそのことを光栄に思う。

S25Rにもあるリスクだが…

 5月27日「バウンシングバック認証に応じてもらえないケース」を参照したはてなブックマークに、次のようなコメントが書かれていた。

「業者はあなただけじゃない、商機を逃す」って意見がいいねー でもそれS25Rでもありえるリスクでしょ。

 そのとおり。素のS25R方式でも、正当なメールを受け損なうことでビジネスチャンスを失うリスクはある。DNSBLでもベイジアンフィルタでも同様である。偽陽性判定からの救済を自動で行わないスパム対策方式すべてにそのリスクがある。
 ただ、そのリスクのコントロールのしやすさは異なる。
 OptPlusでは、初めてメールを送ってきた人のメールは、送信者がバウンシングバック認証に応じなければ、受信者のメールボックスに入らずにペンディングキューに留め置かれる。つまり、偽陽性と同等の状態になる。そこからの救済は各ユーザーの責任になる。ペンディングキューの内容が時々メールで通知されるので、差出人アドレスとサブジェクトを手がかりに、バウンシングバック未認証の正当なメールを救済する必要がある。
 S25R方式では、偽陽性判定された送信元ホストからはリトライアクセスが来る。それを発見してホワイトリストで救済するのはメールシステム管理者の責任である。もし正当なメールだったかもしれないリトライアクセスの救済が間に合わなかったのを発見したら、受信者に知らせて判断を委ねる必要がある。DNSBLでもベイジアンフィルタでも、拒否応答コードを「4xx」(再送要求)にして偽陽性判定からの救済を図っている場合は同様である。
 ビジネスチャンスになるかもしれないメールを受信し損なうことは、企業にとって損失になりうる。そこで、「偽陽性判定されたメールが受信者のメールボックスに届かない」ことをリスクととらえて、社を挙げてそのリスクの回避を図ろうとする場合、どんな対策が必要になるか(メールボックスに届いたメールをユーザーが見落とすリスクは、スパム対策のいかんにかかわらずありうるので、ここでは考えない)。OptPlusの場合は、「ペンディングキューを必ず確認せよ」というユーザー教育が必要になる。S25R方式の場合は、ログの監視とホワイトリスト登録、および救済に失敗したと思われるときの受信者への通知を作業手順として定め、メールシステム管理スタッフに守らせる必要がある。
 どちらの方がリスクコントロールがしやすいか。OptPlusでは、どんなにユーザー教育を徹底しようとしても、誰か一人でもペンディングキューの確認の作業手順を怠る確率はゼロにはしにくい(腰を落ち着けてメールを読むことができないほど忙しい人のことを考えてみてほしい)。それに対してS25R方式では、作業手順の教育をメールシステム管理スタッフだけに集中できる。少数のスタッフがログの監視とホワイトリスト登録の作業手順を確実に守ることにより、偽陽性判定されたメールが受信者のメールボックスに届かないというリスクを回避できる。もし救済が間に合わなかったとしても、受信者に知らせることにより、受信者から送信者に連絡をとってコミュニケーションをリカバーできる。
 リスク回避の対策の対象は、ユーザー一人一人に分散させるより、メールシステム管理スタッフに集中させた方がよい。その意味でも、OptPlusよりもS25R方式の方が安全なのである。

土曜日, 7月 05, 2008

違法なHELOアドレスが増えている

 6月には、不正メールアクセス元ホストは7329個だった(うち、フィルタをすり抜けて着信させたものは14個、リトライが長時間続いたのでブロックを解除したらスパムだったのが5個)。そのうち、宛先サーバのIPアドレスまたは受信者のドメインを名乗るという違法なHELOアドレスを名乗ったホストは、驚いたことに4163個(56.8%)もあった。2007年6月の統計では、不正メールアクセス元ホスト6158個のうち違法なHELOアドレスを名乗ったものは866個(14.1%)だった。それに比べて極端に増加している。不正メールアクセスをしてくるホストは増えているが、HELOアドレスが違法でなかったホストの数は、2007年6月には6158-866=5292個だったのに比べて、今年6月には7329-4163=3166個とむしろ減っているのである。
 ただ、違法なHELOアドレスを蹴飛ばすという、副作用のまったくない対策だけでスパムの受信を56.8%前後減らせるかというと、そうとは言えないようである。HELOアドレスが違法でなかったホスト3166個のうち宛先が正しかったものは1066個(33.7%)だったのに対して、HELOアドレスが違法だったホスト4163個のうち宛先が正しかったものは174個(4.2%)しかなかった。つまり、宛先の正しいスパムを送り込もうとしたホスト1066+174=1240個のうちHELOアドレスが違法だったものは174個(14.0%)だから、違法なHELOアドレスのチェックだけではスパムの受信を14%くらいしか減らすことができないということになる(ホスト数とスパムメッセージ数はほぼ同じと仮定している)。
 このことから言えることは、違法なHELOアドレスを名乗るボットを使うスパマーの多くは、送達率に無頓着に(2006年9月15日「宛先の正しいスパムの阻止率」参照)でたらめのアドレスへ多くのスパムをばらまいており、そのようなボットが増えているということである。
 それにしても、なぜ違法なHELOアドレスを名乗るボットが増えているのだろうか。これによって何らかのスパムフィルタを突破できるわけではなく、むしろ、確実に不正なメールアクセスだと判断できる手がかりを与えるだけである。こんなアホなボットを使うスパマーの考えていることがさっぱりわからない。

水曜日, 6月 25, 2008

「阻止率97%以上」

 「スパム対策技術」の目次ページに記載しているS25R方式の要点に

効果:
●スパムとウィルスメールの全アクセスに対する阻止率約99%。
●宛先の正しいスパムの阻止率約97%。

と書いていたが、「宛先の正しいスパムの阻止率97%以上」と書き直した。宛先の正しいスパムの阻止率が1ヶ月ほどの統計で97%を下回ったことはほとんどなく、むしろ最近では98%くらいになることが多いので、効果をよりアピールする表現にした。
 でたらめのアドレスに宛てられたものも含む不正メールの全アクセスに対する阻止率は、99%を下回ることがあるかもしれないが、それでも98%くらいにはなっていると思う。S25R方式の効果は衰えていないので、「阻止率99%のスパム対策方式の研究報告」という論文のタイトルを今さら取り下げる気はない。おとりのアドレスを拾わせてわざとスパムアクセスを増やして統計をとった結果、2004年4月に阻止率99.1%になったというのは嘘ではないのだし。

日曜日, 6月 08, 2008

バウンシングバック認証はタブーの技術

 届いたメールに対して「メールを送ったのは本当にあなたですか?」と確認を求めるメールを自動返送するバウンシングバック認証方式は、なにもOptPlusの開発元のヌリビジョン社の発明ではない。昔から使われている工夫である。
 たとえば、自動登録方式のメーリングリストでは、参加希望者が登録要求メールを送ると、登録確認要求メールが自動返送されてくる。そこにはパスワードが書かれていて、それをもう一度送信すると登録される。
 このバウンシングバック認証は、誰かが他人のアドレスをかたってメーリングリストに登録するといういたずらを防ぐためである。アドレスをかたられた被害者には、身に覚えのない登録確認要求メールは迷惑なものには違いない。しかし、これをしないことには、被害者は、望んでもいないメーリングリストの配信メールを多量に受けるという、より大きな迷惑を受けてしまう。被害者を大きな迷惑から守るために、メーリングリストの自動登録のバウンシングバック認証は必要なのである。そこが、スパマーにアドレスをかたられた被害者にとってはただ迷惑なだけのOptPlusのバウンシングバック認証要求とは異なる。
 メーリングリストの自動登録に昔から使われているバウンシングバック認証方式を、自分がスパムを受けないための対策に使えないかというアイデアを思い付いた人は、おそらく何人もいるだろう。しかし、メールシステムを理解している人はすぐにいろんな問題に気付く。

●メールトラフィックを増やすことになる。
●送信者に手間をかけさせるのは失礼ではないか?
●送信者が認証手続きをしてくれなかったら、正当なメールを見逃すおそれがある。
●自分が送信したメールのエラー差し戻しに対して認証要求をかけたら、エラーに気付かない。認証要求をかけないようにしたら、エラー差し戻しを装ったスパムを防御できない。
●スパマーに送信者アドレスをかたられた被害者に届くバウンシングバック認証要求は迷惑メールになる。
●送信側でもバウンシングバック認証方式をとっていたら、バウンシングバック認証要求のメールループが起こるから、その防止策も考えなければならない。
●送信側でもバウンシングバック認証方式をとっていたら、互いに相手からのメールに気付かないデッドロック状態(やぎさんゆうびん問題)に陥る。

これほどいろんな問題が懸念されることに気付いたら、「これじゃ使い物にならない」と思うだろう。
 メーリングリスト登録やその他のサービスの自動受付プログラムならともかく、人に宛てられたメールにバウンシングバック認証方式を適用することは、メールシステムを知る技術者にとってタブーだったのである。だから、スパム対策の研究者の間で議論にもなっていなかったのである。そのタブーを犯したのがOptPlusである。すべての問題を解決してタブーを破ったのなら賞賛もしようが、本質的に避け得ない問題をバウンシングバック認証方式は内在しているのである。
 企業の経営者層の人は、メールシステムをよく知らなくてバウンシングバック認証方式の問題点に気付かず、「OptPlusは画期的なスパム対策製品」という宣伝を鵜呑みにしかねない。バウンシングバック認証方式のタブーに漠然と気付いていながら、それを経営者層にうまく説明できない技術者は、OptPlusの導入を阻止できないかもしれない。そうなると、宛先の不正なバウンシングバック認証要求メールで他人に迷惑をかけ、また、ユーザーは、バウンシングバック未認証を心配してペンディングキューを見なければならない、メーリングリストに投稿する時にはFromヘッダのアドレスをエクスパンションアドレスに変えなければならないという不便を強いられるのである。
 バウンシングバック認証方式の問題に漠然と気付くのにとどまらず、緻密に考察して指摘してきたのは、おそらく私だけだろう。メールシステムをよく知らない人たちを、OptPlusを買わないよう説得するため、また、簡単で効果が高くて無料で使えて、すでに多くのサイトで使われている実績のあるS25R方式という対案があることを説明するために、2007年5月14日「バウンシングバック認証という無茶なやり方」に始まる私のバウンシングバック認証方式反対キャンペーンの一連の記事が役立てば幸いである。

金曜日, 6月 06, 2008

メーリングリストはOptPlusの鬼門

 もういいかげんOptPlus批判はやめようかとも思っていたのだが、バウンシングバック認証方式の問題点に次から次へと気付いてしまうので、やはり書いておくことにする。
 バウンシングバック認証方式反対キャンペーンの最初の記事である2007年5月14日「バウンシングバック認証という無茶なやり方」では、
「なぜ無茶か。メーリングリストや、メールマガジンや、オンラインショッピングの確認メールのことをちゃんと考えているとは思えないからである。」
と書いた。しかし、これは誤りだった。バウンシングバック認証にかけないように登録したエクスパンションアドレスという別アドレスで受信する方法が用意されている。
 ただ、メーリングリストが、登録要求メールを送るとそのFromヘッダのアドレスへ登録確認要求メール(「本当にあなたが登録要求を送ったのであれば、確認のためのメールを再度送ってください」と案内するメール)が自動返送されるという仕組みである場合、それをバウンシングバック認証にかけずに受信するために、Fromヘッダのアドレスをエクスパンションアドレスに変えて登録要求メールを送る必要がある。これは面倒なことである。そのことを2007年5月27日「バウンシングバック認証はやはりやっかい」に書いた。
 今回述べるのは、問題はそのような面倒さにとどまらず、「OptPlusユーザーがメーリングリストに参加することでスパムがバウンシングバック認証をすり抜けるリスクがある」ということである。「風が吹けば桶屋が儲かる」みたいな話だが、考えていくとちゃんとそういう結論になる。

 まず、Fromヘッダのアドレスをエクスパンションアドレスに変えて登録要求メールを送ったとする。その理由は、上述のように、自動返送される登録確認要求メールをバウンシングバック認証にかけずに受信するためということにしておく(別の理由もあるのだが、それについては後述する)。
 そして、登録確認要求メールの指示に従って登録手続きが完了したとする。登録されたアドレスは、OptPlusユーザーの通常のアドレスではなく、エクスパンションアドレスである。
 こうなると、メーリングリストに投稿する時には毎回Fromヘッダをエクスパンションアドレスに設定しなければならない。なぜなら、たいていのメーリングリストでは、部外者からの不正な投稿を防ぐために、登録されたアドレスでしか投稿を受け付けないようになっているからである。
 つまり、そのOptPlusユーザーが投稿メールのFromヘッダによってメーリングリストメンバーに公開するアドレスは、通常のアドレスではなく、エクスパンションアドレスになる。
 さて、ここで、そのメーリングリストのメンバーの誰かのPCがウィルス感染して(あるいはスパイウェアによって)、メーリングリストで配信されたメールから拾い出されたメールアドレスがスパマーに漏洩したとしよう。そうなると、スパマーはOptPlusユーザーのエクスパンションアドレスに向けてスパムを送ってくる。そのスパムは、バウンシングバック認証にかからずに通過する。つまり、エクスパンションアドレスでメーリングリストに参加することで、スパムがバウンシングバック認証をすり抜けて着信するということになるのである。
 「スパムを1通でも受けたら返金します」と豪語しているOpt Plus ASPは、このような場合に返金してくれるだろうか。おそらく返金に応じてはくれないだろう。「エクスパンションアドレスを他人に広く公開したユーザーに責任がある」と言うだろう。そうせざるを得ない仕組みであるにもかかわらず。

 では、通常のアドレスでメーリングリストに参加したらどうだろうか。自動返送される登録確認要求メールに対してバウンシングバック認証要求メールが自動返送される。それがメーリングリスト管理者に迷惑になるという問題はさておき、OptPlusユーザーが登録確認要求メールをペンディングキューから救済すれば、登録手続きを完了することができる。
 その後、いろんな人がメーリングリストに投稿したメールが配信されてくる。それがまたバウンシングバック認証にかけられる。
 ここで、メールをペンディングキューから救済した時にホワイトリスト登録されるのが、MAIL FROMコマンドで通知される送信者アドレスなのか、Fromヘッダのアドレスなのかが問題になる。個人がメーラーで送信するメールでは両者は同じである。しかし、メーリングリストで配信されるメールの場合は、Fromヘッダは投稿者のアドレスのままだが、送信者アドレスは、「owner-メーリングリスト名」、「メーリングリスト名-admin」などのような、メーリングリスト管理者のエイリアスに書き換えられる(これはエラーバウンスの返送先になる)。
 ホワイトリスト登録されるのが送信者アドレスであれば、問題はさほど大きくない。バウンシングバック認証要求メールがメーリングリスト管理者へ飛ぶが、いったんペンディングキューから救済すれば、その後は、そのメーリングリストで配信されたメールは、誰が投稿したものであっても受信できるようになる。
 ところが、ホワイトリスト登録されるのがFromヘッダのアドレスだとしたら大変である。すべての投稿者にバウンシングバック認証要求メールが飛ぶことになる。それを受けた投稿者は、「私はメーリングリストに投稿したのであって、あなた個人のことは知らない。メールを疑うなら勝手にしろ」と思ってバウンシングバック認証に応じない可能性が高い。OptPlusユーザーは、いろんな投稿者からの投稿メールをいちいちペンディングキューから救済しなければならない。
 あらかじめメーリングリストのメンバー全員のアドレスをホワイトリスト登録するのは大変である。第一、登録メンバーのアドレスリストは重要な個人情報である。メーリングリスト管理者がおいそれと開示するわけがない(たとえば同窓会のような、メンバーの限定されたメーリングリストならともかく、誰でも参加できるオープンなメーリングリストでは)。
 というわけで、結局のところ、OptPlusがFromヘッダのアドレスをホワイトリスト登録する仕組みであれば、メーリングリストにはエクスパンションアドレスで参加せざるを得ないということになるのである。

 OptPlusユーザーがメーリングリストに参加しようとすると、これほどまでにやっかいで、しかも、エクスパンションアドレスが漏洩してスパムを受けてしまうリスクがあるのである。それでもOptPlusを買いますか?
 S25R方式を知らずにこの記事にたどり着いた人のために説明しておくと、S25R方式とは、送信元IPアドレスの逆引き結果から送信元をエンドユーザーコンピュータと推定した場合に再送要求を返して受信を拒否することにより、ボットからの再送しないスパムアクセスを阻止する(メールサーバを誤判定した場合は再送アクセスが来るので、ホワイトリストで救済する)という単純な方法。Postfixの設定だけで実現でき、97~99%のスパムを阻止できる。メーリングリストへの参加だろうと何だろうと、ユーザーにとってメールの送受信方法は対策前と何も変わらない。

(OptPlusとバウンシングバック認証方式に関するすべての記事へのリンクはこちらの記事にあります。)

火曜日, 5月 27, 2008

ペンディングキュー管理機能は使いやすいか?

 OptPlusをヨイショしている「政府研究会の先を行く! スパム完全シャットアウトを実現した革新技術とは」という記事の2ページ目に、ペンディングキューの内容を通知するメールの例が図示されている。前回述べたように、正当なメールがバウンシングバック未認証のままになるリスクはどうしても避けられないから、このようなペンディングキュー管理機能は不可欠である。
 ところが、図を見ると、ペンディングキューにたまったバウンシングバック未認証のメールが正当なメールかスパムかを判定する手がかりは、差出人アドレスとサブジェクトしかない。これでは判定が難しそうである。
 サブジェクトが「裏DVDの激安販売」だったら、明らかにスパムとわかる。しかし、「考えてくれていますか」ではどちらかわからない。もしかしたら、受信者が営業活動で社外の人と名刺交換した時に「その件については考えておきましょう」と発言し、その相手の人が「考えてくれていますか」というサブジェクトでメールを送ってきたのかもしれない。あるいは、スパマーが本文を読ませようとして思わせぶりなサブジェクトを付けたのかもしれない。差出人アドレスからも判別がつかないこともある。名刺交換した相手が、名刺に書かれたアドレスでメールを送ってくるとは限らず、たとえば携帯電話から送ってくることもありうるからである。
 スパムかどうかわからないメールは、本文を見て確認するしかない。本文を確認するには「インポートする」のリンクをクリックするしかないと思われ、そうしたら、スパムの差出人アドレスがホワイトリスト登録されてしまうおそれがある。それを取り消す方法はあるのかもしれないが、どうすればよいのかはわからない。
 こんなことなら、PC上のベイジアンフィルタでスパム判定のマークをサブジェクトまたは他のヘッダに付け、メーラーでごみ箱に自動振り分けする方が、確認が楽ではないだろうか。ごみ箱に振り分けられたメールのうち、サブジェクトで明らかにスパムとわかるものは無視すればよく、スパムかどうかわからないメールは本文を一瞥すればよいからである。
 それに、OptPlusはベイジアンフィルタでスパム判定したメールをブロックするので、偽陽性判定された正当なメールがペンディングキューまで届かないおそれがある(4月12日「OptPlusも失礼な受信拒否をしそうだ」)。ウィルスチェックの偽陽性判定によるバウンスなら、添付ファイルを取り除いたメールを送り直して連絡をとることができるが、ベイジアンフィルタによる偽陽性判定でバウンスされると、送信者はどうすればよいのかわからない。商談を申し込もうとした送信者が怒ってそれっきりメールを送り直さず、ビジネスチャンスが失われるおそれがある。それよりは、偽陽性判定されたメールは「スパムの疑いあり」のマークを付けて受信者に届けた方がましである。
 S25R方式なら、そのようなことに気を病む必要はない。受信者にとって、受信のしかたは対策前とまったく変わらない。ただ、送信元ホストの逆引き結果によって偽陽性判定されたメールは、メールシステム管理者がリトライアクセスを発見してホワイトリスト登録するまで受信が遅延するということを承知していればよい。スパムの阻止率は100%にはならないが、97~99%。一日200通のスパムを受けていた人の場合でも、着信してしまうスパムは一日平均6通以下。手動で捨てるのに苦労はない程度である。リトライ期間が1~2日と短いメールアクセスを週末の間に救済しきれないリスクはあるが、メールシステム管理者が拒絶ログソーティングスクリプトでリトライアクセスを発見して受信者に知らせてあげれば、受信者は送信者に受信失敗を詫びて再送を依頼することで、コミュニケーションをリカバーできる。もちろん、グレイリスティングの併用によって偽陽性判定からの救済を自動化すれば、そのリスクも回避できる。
 OptPlusまたはバウンシングバック認証方式を調査しようとしてこのブログにたどり着いた人は、ぜひS25R方式の導入を検討していただきたい。S25R方式は、スパムの阻止率は100%ではなくても十分に高く(DNSBLよりもベイジアンフィルタよりも)、正当なメールを受信し損なってしかもメールシステム管理者がそれに気付けないというリスクはほとんどなく、しかも無料で導入できるのだから。
 S25R方式や他のスパム対策方式を批判しながら、スパムに困っている人たちを救う具体的な方策を何ら提案しない人もいるが、私は違う。すでに多数の人たちに支持されている実績のあるS25R方式という対案を提示できるからこそ、危険な副作用のリスクがあるバウンシングバック認証方式とOptPlusをこうして強く批判することができるのである。

バウンシングバック認証に応じてもらえないケース

 OptPlusをヨイショしている、マイコミジャーナルの「政府研究会の先を行く! スパム完全シャットアウトを実現した革新技術とは」という記事の2ページ目に、

「認証依頼メールを送信することにより、"不審者を社内に寄せ付けない企業"というクリーンなイメージを持っていただけるケースが多い」

と書かれている。私は、私にメールをくれる善良な送信者に対して認証手続きの手間を要求する気にはとてもなれない。とはいえ、認証手続きの手間を要求されて腹を立てる善良な送信者は私が気兼ねするほどには多くないだろうということは認めよう。
 しかし、それでもなお、OptPlusのユーザーは、正当な送信者なら必ずバウンシングバック認証に応じてくれるとあてにしてはならないということを指摘しておこう。その理由として以下が考えられる。

■事故による不到達
 最近ではめったに起こらないことではあるが、メール配送の事故によってバウンシングバック認証要求メールが送信者に到達しないおそれは皆無ではない。

■見落とし
 送信者がメールを送信した後、受信操作をした時に、バウンシングバック認証要求メールがたくさんのメール(スパムもあるかもしれない)にまぎれてしまい、しかも「先方から返事が来るのは早くても数時間後。即座に来ることはよもやあるまい」という思い込みが重なって、バウンシングバック認証要求メールを見落としてしまうケースが考えられる。

■認証画面が送信者のブラウザに対応できない
 Opt Plus ASPのページに示されているバウンシングバック認証要求メールの文例には、「携帯電話からは認証できません」とある。つまり、認証画面が携帯電話に対応していないため、携帯電話メールの送信者は認証に応じようにもできないということである。
 また、同社のFAQのページによると、管理画面が対応するブラウザはInternet Explorerのバージョン6以降だけだという。認証画面は管理画面とは違うのかもしれないが、Firefox、Operaなどさまざまなブラウザで認証手続きができるのかどうか不安である。

■送信側でもバウンシングバック認証方式をとっている
 このケースでは、受信側サイトから返されるバウンシングバック認証要求メールに対するそのまたバウンシングバック認証要求メールが送信側サイトから送信される。受信側サイトからのバウンシングバック認証要求メールは未認証のまま送信者のペンディングキューに入れられ、送信者はしばらくそれに気付かない。そのため、送信者が認証手続きを行わない。
 双方が同じことをすることによって互いに情報が伝わらなくなるデッドロック状態。私はこれを、白やぎさんと黒やぎさんが共に相手からの手紙を食べてしまったという童謡にちなんで「やぎさんゆうびん問題」と名付けた。このデッドロックから抜け出すには、少なくともどちらかがペンディングキューからメールを救済するしかない。

■「業者はあなただけじゃない」
 送信者が、ある種の製品を買いたいと思って、今まで名刺交換したことのあるたくさんの業者の営業担当者に片っ端から問い合わせのメールを送ったとする。特にどの業者が良さそうかはわかっていなくて、誠実な回答を遅滞なく返してくれた業者と話をしようと思っていた。受信者にとってはビジネスチャンスである。
 ところが一部の業者は、「認証手続きをしてくれなければあなたのメールを受け取ってあげません」と解釈されるバウンシングバック認証要求を自動返送してきた。そんなとき、送信者が「ぜひとも受け取ってくれなくてもいいよ」と思って認証手続きをせずにほったらかしたとしても不思議はない。

 こういうことがありうるから、OptPlusで正当なメールを受信し損なわないためには、ユーザーがペンディングキューを定期的に確認することが不可欠なのである。
 では、ペンディングキューの確認は容易な作業なのだろうか。それについては次の記事で。

(OptPlusとバウンシングバック認証方式に関するすべての記事へのリンクはこちらの記事にあります。)

木曜日, 5月 22, 2008

スパムの大量差し戻しの蹴り方

 スパマーに送信者アドレスをかたられて、user unknownになったスパムの差し戻しが大量に殺到しては、大変な迷惑である。5月18日「バウンシングバック認証のもう一つの穴」で、BBSのゲストのkkkさんが677通のスパム差し戻しを受けられたことを書いた。その日はほとんど仕事にならなかったそうである。
 その記事では、「差し戻しはメールサーバから送られてくるから、残念ながらS25Rでは阻止できない」と書いた。しかし、仕事にならなくなる前に防御する方法があることを思い出した。私がS25R方式を考案する前に使っていた内容チェックである。差し戻されてくるスパムの文面が同じならばこの手が使える。
 main.cfファイルには、あらかじめ

body_checks = regexp:/etc/postfix/body_checks

という指定を書き込んでおき、空のbody_checksファイルを用意しておく。スパムの大量差し戻しを受けたら、差し戻しメールに引用されているスパムの文面から特徴的な文字列を抽出し、それをbody_checksファイルに指定して「postfix reload」を実行する。特徴的な文字列としては、スパマーが誘導しようとするサイトのURLがよい。
 私のアドレスを送信者アドレスにかたったスパムが私に差し戻されてきた例を挙げる(この時はこれ1通で済んだ)。

Hi. This is the qmail-send program at gaba-network.org.
I'm afraid I wasn't able to deliver your message to the following addresses.
This is a permanent error; I've given up. Sorry it didn't work out.

<***@gaba-ca.org>:
This address no longer accepts mail.

--- Below this line is a copy of the message.

Return-Path: <deo@gabacho-net.jp>
Received: (qmail 14545 invoked from network); 17 Feb 2008 13:23:39 -0800
Received: from 82-34-216-89.cable.ubr08.gill.blueyonder.co.uk (HELO flibble) (82.34.216.89)
  by air479.startdedicated.com with SMTP; 17 Feb 2008 13:23:39 -0800
X-Mailer: CME-V6.5.4.3; MSN
Return-Path: ***@cimail15.msn.com
Received: (qmail 37667 by uid 140); Sun, 17 Feb 2008 10:27:30 GMT
Message-Id: <20080217102730.37669.qmail@flibble>
To: <***@gaba-ca.org>
Subject: February 71% OFF
From: <***@gaba-ca.org>
MIME-Version: 1.0
Content-Type: text/html; charset="ISO-8859-1"
Content-Transfer-Encoding: 7bit

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html dir="ltr">
…(略)…
<a href="http://track.msadcenter.lyv.com/wwfdtge_ovatpimxtn.html" target="_blank">Click here to get enrolled for your ndnn !</a><br><br>
<img src="http://track.msadcenter.rcy.com/qlooaza-ovatpimxtn.gif" border=0 usemap="#Map">
…(略)…

もし同じ文面のスパムが大量に差し戻されてきたら、<A>タグで指定されたURLを拾って、body_checksファイルには次のように記述する。

/http:\/\/track\.msadcenter\.lyv\.com\/wwfdtge_ovatpimxtn\.html/ REJECT

 これにより、差し戻しの受け取りが拒否される。差し戻そうとしたサイトのポストマスターに差し戻し失敗の通知が行くのは迷惑かもしれないが、やむを得ない。こちらの自己防衛のためである。
 そもそも、MXサーバで受け取った後にuser unknownを検出して送信者アドレスへ向けて差し戻すというシステム構成が良くないのである。外部から最初にメールを受信するMXサーバにサイト内のユーザーリストを持っておいて、サイト内部でuser unknownになることをMXサーバがただちに判定して受け取りを拒否するシステム構成の方がよい。そうすれば、アドレスをかたられた被害者に不正な差し戻しが行くことはなくなるし、でたらめの送信者アドレスをかたったスパムの差し戻しが失敗してポストマスターに通知が殺到することもなくなる。もっとも、qmailでは難しいのかもしれないが。

バウンシングバック文例の問題点

 Opt Plus ASPの「100%スパムメールブロックの仕組み」というページに書かれているバウンシングバック認証要求メールの文例は次のようになっている(メールアドレスの例示は、この記事からスパマーに拾われないように伏せ字にする)。

メールをいただき、ありがとうございます。

株式会社ネオジャパンのinfo@*********.comです。
このメールは自動的に返信されています。

当社では情報セキュリティ強化を目的として、スパム(迷惑)メール防止のための送信元認証システムを導入・採用しています。
お手数をおかけし誠に申し訳ありませんが、まず「認証を行う」ページにて送信元認証をしていただきますよう、お願い申し上げます。

一旦認証されメールが配送された以降は、今後メールを送信いただく際に都度認証していただく必要はございません。

弊社の情報セキュリティ対策に、ご理解・ご協力の程どうぞよろしくお願い申し上げます。

認証を行う

注意:
10日以内に、認証してください。
認証いただけない場合、送信いただいたメールが自動的に破棄されてしまいますのでご注意ください。
携帯電話からは認証できません。受信者側で手動認証いたしますので、本メールは無視してください。

ご協力ありがとうございました。

 この文例は、スパマーに送信者アドレスをかたられた被害者にバウンシングバック認証要求が届きうるということをベンダーがまったく考えていないことを物語っている。これでは、前回述べたように、アドレスをかたられた被害者が意味もわからず、あるいは不要メールを送り付けられた怒りで認証手続きをしてしまう可能性がある。
 アドレスをかたられた被害者にバウンシングバック認証要求メールを殺到させてしまう迷惑を申し訳ないことだと自覚しているなら、せめて次のような文を入れるべきである。

「もし弊社にメールを送信されたお心当たりがないのにこのメールが届いたならば、他人があなた様のメールアドレスを不正に使用して弊社にメールを送信したことが考えられます。その場合はこのメールを無視してください。ご迷惑をおかけしたことをお詫びいたします。」

 もし今後、文例がこのように直されていたら、ベンダーが私のブログを見たということだろう。
 ついでに言うと、「10日以内に認証してください」という依頼は不要である。受信者は、正当な送信者が認証要求に応じてくれなかった場合に備えて、定期的にペンディングキューを確認しなければならない。「10日以内」というのはその猶予である。ペンディングキューを10日間も確認しなかったら、それは受信者の怠慢である。10日という期限を正当な送信者に意識させる必要はない。「認証いただけない場合、送信いただいたメールが自動的に破棄されてしまいます」という警告ももちろん不要である。
 もう一つ言うと、「携帯電話からは認証できません。受信者側で手動認証いたしますので、本メールは無視してください。」と言うくらいなら、バウンシングバック認証要求メールそのものが不要である。受信者がペンディングキューに注意していればよい。このことは2007年6月17日「OptPlusの機能を考える」でも述べた。
 私のブログのバウンシングバック認証方式反対キャンペーンを読んでもなおOptPlusを買おうと思う人がもしいたら、せめてバウンシングバック認証要求メールの送信はオフにして使ってほしい。ペンディングキューを監視していさえすれば、バウンシングバック認証要求メールは必要ないのだから。

日曜日, 5月 18, 2008

バウンシングバック認証のもう一つの穴

 最近、職場の人がスパマーに送信者アドレスをかたられてスパムのエラー差し戻しを大量に受けた。社外からのmailer-daemonまたはpostmaster発のメールをごみ箱に振り分けるようにメーラーBecky!を設定してあげた。自分が社外へ送ったメールのエラー差し戻しもごみ箱に振り分けられてしまうようになるが、緊急策としてやむを得ない。スパムの差し戻しは一日でやんだようである。
 BBSで何度かホワイトリスト情報をお寄せくださっているkkkさんも、アドレスをかたられてスパムの差し戻しを677通受けられたそうである。差し戻しはメールサーバから送られてくるから、残念ながらS25Rでは阻止できない。
 そして、バウンシングバック認証要求メールも4通受けたとのこと。そのうち1通はウェブページへのアクセスを要求するもの、3通は返信メールを要求するものだったそうである。OptPlusはウェブページへのアクセスを要求する方式なので、バウンシングバック認証方式をとるシステムはOptPlusだけではないらしい。
 kkkさんいわく「不愉快ですね」と。そりゃそうだ。スパムのエラー差し戻しが大量に押し寄せ、それに加えて、送ってもいないメールへのバウンシングバック認証要求を送り付けられては、頭にきて当然である。数が少なければよいというものではない。みんながやると大きな被害になることを「自分一人くらい」と思ってやるのがいけないのである。
 さて、アドレスをかたられてバウンシングバック認証要求を受けた被害者が認証要求に応じたらどうなるか。当然、スパムは通過することになる。被害者が認証要求に応じる理由には以下が考えられる。

■報復
 アドレスをかたられた被害者への迷惑を省みないバウンシングバック認証方式を使うサイトに対して、報復のためにスパムを通過させる。

■親切
 OptPlusを使ったASPが「スパムを1通でも受けたら返金します」と豪語していることを知っている人が、ユーザーに返金を受けさせてあげようという親切心でスパムを通過させる。もっとも、豪語するASPに損失を与えようとするものだから、これをやるのもバウンシング認証方式反対派の人であろう。

■天然
 「なんかよくわからないんだけどー、クリックしてくれってメールに書いてあったので、クリックしましたー!」

 OptPlusの開発者やベンダーは、よもやそんなことはあるまいと思っているふしがあるが、よもやあるまいと思うことが起こるのが世の中である。アドレスをかたられた被害者に、ごみメールを増やすという迷惑をかけておきながら、その人が認証手続きをしないことによってスパムの阻止に当然協力してくれるだろうとは、ずいぶん虫のいい考えだと思う。
 ここまで書いてきてふと気が付いた。スパマー自身が認証要求に応じることによってスパムを通過させることも考えられる。送信者アドレスを詐称せずにバウンスをまともに受け、バウンシングバック認証要求メールに書かれたURLに自動アクセスするか、またはそれに自動リプライすることは、技術的に可能であろう。CAPTCHA認証を突破する技術も進みつつあるとの情報もある。
 100%のスパム阻止などあり得ないのである。

土曜日, 4月 12, 2008

OptPlusも失礼な受信拒否をしそうだ

 SYSMATE社の、OptPlusの説明ページにこんな記述がある。

第1次フィルタ : ディクショナリ・アタックチェックエンジン
偽装アカウントからのスパムメールや機械的に送信先を作成して送付してくるディクショナリアタックをサーバの交信のみでブロック。
ブラックリストに登録されているドメイン、IP、E-mailアドレスからのメールをブロック。

第2次フィルタ : ウィルス・パターンチェックエンジン
ウィルスパターンチェックでウィルスメールと判断されるメールをブロック。

第3次フィルタ : スパム・パターンチェックエンジン
スパムパターンチェックでスパムメールと判断されるメールをブロック。
ベイジアン・フィルタにより、スパムメール判定を実施。
メール・ルールに準拠しないメールのブロック。

第4次フィルタ : バウンシング・バック送信元チェックエンジン
送信者入力認証を利用した、最強のフィルタエンジンでメールを確実にブロック。

まず、バウンシング・バックエンジンが機能する前に偽装されたアカウントに対する配信やウィルスメール等は3段階のフィルタエンジンでブロックします。ここで約15%以下に抽出されたメールに対して、スパム判定を行います。
それがバウンシング・バック認証エンジンです。

 ここから読み取れることは、ベイジアンフィルタでスパムパターンに引っかかったメールはブロックされ、バウンシングバック認証待ちのペンディングキューに入らないらしいということである。すなわち、ペンディングキューに入るスパムはベイジアンフィルタをすり抜けた約15%だけと思われる。私は2007年6月17日「OptPlusの機能を考える」で
「(3) スパムパターンチェック …(略)… おそらく、ここでスパム判定されたメールは、捨てずにペンディングキューに入れるのだろう。偽陽性判定された正当なメールをユーザーが拾い出せなければ困るから。」
と述べたが、どうもそうではないらしい。
 考えてみたら、ベイジアンフィルタに引っかかったかどうかにかかわらずスパムをすべてペンディングキューに入れたら、ユーザーはその中身を確認するのが大変である。これでは販売戦略的にまずい。ベイジアンフィルタでスパムとわかる約85%のスパムをすべてブロックし、念のために確認しなければならないスパムを15%くらいに減らしてこそ、客に「いいねえ」と言ってもらえる。
 ということはどういうことか。ベイジアンフィルタで偽陽性判定された正当なメールに対して失礼な受信拒否をするということである。私が運用するメーリングリストで配信した会合案内のメールがスパム判定されて失礼にも「5xx」で蹴られた実例を再掲する。前者はインドの会社、後者はアメリカの著名な学会である。

<***@edkal.com> (expanded from <***-outgoing>): host
    mail.edkal.com[202.71.131.52] said: 550 Rejected. Classified as
    ****SPAM**** (in reply to end of DATA command)

<***@computer.org> (expanded from <***-outgoing>): host
    hormel.ieee.org[140.98.193.224] said: 554 5.7.1 Message scored extremely
    high on spam scale.  No incident created. For details, send to
    postmaster@ieee.org. You can also send a plain text message to the
    recipient and request adding your address to his/her UCE whitelist. (in
    reply to end of DATA command)

 おわかりだろうか。OptPlusもおそらく同じことをするのである。スパム判定時に「4xx」(再送要求)を返し、同じメールが再送されてきたら受け入れるという救済措置がもしあれば、偽陽性判定を心配する人にアピールするアドバンテージになるはずであるが、そのことは何も述べられていない。
 念のために言っておくが、ベイジアンフィルタが偽陽性判定を絶対に起こさないなどということはあり得ない。上記のように、理由のわからない偽陽性判定の被害を実際に私は受けている。まして、スパムを引用して「こんな変なメールを受けたんですが、どうしたらいいですか?」と相談するメールや、「スパムによくあるviagra、cialis、xanaxという語は薬物の名前です」などのように書いたまともなメールが偽陽性判定される確率はきわめて高い。
 改めて私は、次の二つの重大な理由により、OptPlusを買わないよう強く訴える。

●詐称された送信者アドレスへバウンシングバック認証要求メールを返すことにより、アドレスをかたられた無実の被害者に迷惑をかける。
●ベイジアンフィルタで偽陽性判定された正当なメールを(一時的にでなく完全に)受信拒否することにより、善良な送信者に迷惑をかける。そのメールを受けるはずだった受信者にも迷惑をかける。

 いくらスパムを憎んでも善良なインターネットユーザーには決して迷惑をかけまいと思う日本的美徳をわきまえた日本人は、この韓国製の製品を使ってはいけない。

(OptPlusとバウンシングバック認証方式に関するすべての記事へのリンクはこちらの記事にあります。)

水曜日, 4月 09, 2008

バウンシングバックはスパム受信を増やすかも

 2007年5月14日にバウンシングバック認証方式反対キャンペーンを始めてから早いもので11ヶ月になる今日このごろ。2007年9月5日掲載のヨイショ記事にとんでもないことが書かれているのを見つけた。OptPlusの輸入ベンダーであるネオジャパンの取締役の言葉として書かれていたもの。

「送信したメールの数だけ認証依頼メールが届くため、スパマーを攻撃することにもつながる」(狩野氏)という。

なんちゅうことおっしゃるの!
 スパムの送信者アドレスに向けて大量のメールを送り付けることによってスパマーに被害を与えることができるくらいなら、みんなやっている。それはやってはならないことだというのは常識である。もちろん、スパマーは送信者アドレスを詐称するからである。スパムの送信者アドレスへメールを返すことは、アドレスをかたられた罪のない被害者を攻撃することになるのである。
 もう一つ、スパムに返信してはならないとされる理由がある。受信者アドレスが有効であることをスパマーに教えてしまうおそれがあるからである。この、やってはならないとされることを自動でやってくれるのがバウンシングバック認証方式である。
 もしスパマーが、罪のない他人のアドレスを送信者アドレスにかたらずに、バウンスが自分に返るように送信者アドレスを設定することがあるとすれば、宛先アドレスの正しさを確認するためだろう。当然、大量のエラーバウンスを受けても平気なように受け口を準備する。そしておそらく、受けたバウンスを自動処理する。mailer-daemonまたはpostmasterを送信者アドレスとするバウンスが入ってきたら、宛先アドレスは無効だったと知ることができる。送信に成功したスパムに対するバウンスが来なければ、宛先アドレスは有効だった可能性が高いと判断できる。そして、スパムに返信する人がいたら、宛先アドレスは有効だったと判断できる。バウンシングバック認証依頼メールを自動送信した場合もそれと同じである。バウンシングバック認証方式は、スパマーに「あなたが送ったスパムの宛先アドレスは正しいものでした」と積極的に教えることになるのである。
 OptPlusのベンダーはこう言うだろう。「有効なアドレスであることをスパマーに知られてスパムが増えても、OptPlusはスパムを100%遮断してくれるのだから平気だ」と。しかし、スパムはペンディングキューに入る。ユーザーは、正当な送信者がバウンシングバック認証に応じてくれなかった場合に備えて、ペンディングキューを定期的に見なければならない。受信するスパムが増えれば、ペンディングキューから正当なメールを探し出す作業はより大変になる。初めのうちは少ししかスパムを受けていなかったユーザーも、スパムに対してバウンシングバック認証依頼メールが送られ続けることによって、だんだん多くのスパムを受けるようになるおそれがある。
 そして、すでに私が指摘しているとおり、バウンシングバック認証方式は破る方法がある。受信者がホワイトリスト登録していそうなアドレスを送信者アドレスにかたればよい。OptPlusのユーザーのメールアドレスを有効なアドレスとして知るスパマーが増えるほどに、いったん破られたら被害は大きくなる。
 そもそも、詐称が容易な信頼できない情報である送信者アドレスを、正当なメールかどうかの判定に使おうというのが間違っているのである。

土曜日, 3月 29, 2008

拒絶ログソーティングスクリプトを改良

 拒絶ログソーティングスクリプトを改良した。変更点は以下のとおりである。

■単独のアクセス記録の表示を抑止するスイッチ
 リトライしなかった単独のアクセスの記録を抑止してリトライシーケンスだけを表示したい場合のために、コードの改造方法を説明していた。しかし、そのように改造すると、最後に表示するアクセス数と推定メッセージ数が、リトライシーケンスのアクセスについてのみのカウントになってしまい、全体のアクセスについてのデータがわからなくなってしまっていた。
 そこで、単独のアクセスの記録を抑止してもアクセス数と推定メッセージ数のカウントが変わらないように改良した。
 その際、単独のアクセス記録の抑止をオン・オフするスイッチの変数を設け、その初期値を書き換えるだけで済むようにした。単独のアクセス記録を抑止するには、最後のプロセスのGAWKスクリプトで

Suppress_single_access_records=0

という行を

Suppress_single_access_records=1

と書き換えればよい。

■sortコマンドで-kオプションを使用
 sortコマンドでソートキーを指定するために、今まで

sort +POS1 -POS2

という形式を使っていたが、もう一つの指定方法である

sort -k POS1,POS2

という形式に変更した。BBSで、システムによっては前者の形式が使えなくなっているという情報をいただいたからである。
 レコードの5、6、7番目のフィールドであるクライアントIPアドレス、送信者アドレス、受信者アドレスをキーとしてソートするには、前者の形式では

sort +4 -7

と書く。「+4」はキーの開始フィールドで、0から数えたフィールド番号である。「-7」は、0から数えたフィールド番号の7よりも前までという意味である。ややこしい。後者の形式では、フィールド番号は1から始まるように数え、

sort -k 5,7

と書く。GAWKでのフィールド番号の数え方と一致していてわかりやすい。

■\nの一時書き換えコードを\034から\036に変更
 処理には影響しない些細な変更である。リトライアクセスが連続して並ぶようにソートした後、日付と時刻でソートし直すために、リトライシーケンスの複数の行を一時的に一行のデータに変換する。その際に、元の\n(改行文字)を\034に置き換えていたが、\036に置き換えるように変更した。
 ISOの機能文字の規格(ASCIIやJISでも同じ)では、情報セパレータとして以下の4個が定められている。

\034 (0x1c): FS (File Separator)
\035 (0x1d): GS (Group Separator)
\036 (0x1e): RS (Record Separator)
\037 (0x1f): US (Unit Separator)

今まで、入力されうる文字と重ならない文字を使えばよいということで、あまり深く考えずに置き換え文字として\034を使っていた。しかし、規格に照らせば、元が一行だった情報単位の区切りを示すにはRSコードを使うのがふさわしいと考えて、\036を置き換え文字として使うことにした。どうでもいいこだわりである。

日曜日, 3月 23, 2008

世界に広まったらどうしよう…

 先日、オーストリアの方から、自分のサイトがS25Rに引っかかるのでホワイトリストに登録してほしいというメールをいただいて、公開ホワイトリストに掲載した。
 「どの国へメールを送った時にS25Rでブロックされましたか?」と尋ねたら、サンフランシスコにある某ブログサイトとのこと。外国でも徐々に使われ始めているようである。S25R方式を採用していると公表している外国の方はまだ少ないようだが、steeeeeveeeさんの記事を見つけた。また、少し前にはオーストラリアの方からホワイトリスト情報をいただいている。
 公開ホワイトリストへの掲載はどなたからの情報も受け入れている。個人サイトや小規模サイトは交信相手が少ないはずだからといって大規模サイトと差別するようなことはしていないし、インターネットはワールドワイドなものだから、外国のホストの情報も掲載している。
 今のところ、公開ホワイトリストに掲載されたホストの大多数は日本国内のものである。だから、国内サイトにはかなり役立つものになっていると思う。しかし、世界のホストが入ってくると、国内サイトにとっては必要以上に重たいホワイトリストになってしまう。一方、外国のサイトにとっては、自国や主要な交信相手国のホストの情報がたくさん入ってくれないと、S25R方式の運用当初から偽陽性判定を少なくできるという利点を享受しにくい。
 ホワイトリストがワールドワイドになってきたら、日本版、東アジア版、西アジア版、オセアニア版、北米版、南米版、西欧版、東欧版、アフリカ版という具合に分けることを考えようかな。願わくは、自国にとって最適なS25Rホワイトリストを提供するボランティアが各国に現れてくれるとうれしいのだが。
 あるいは、いよいよとなったら、テキストファイルによるホワイトリスト情報からDNSホワイトリストへの移行を検討しようか。かつてホスト名とIPアドレスとの対応表がテキストファイルとして一元管理されていたのが、インターネットの拡大につれてDNSへ移行したように。(参考:JPNIC「インターネット10分講座●DNS」)

土曜日, 3月 22, 2008

グレイリスティングの突破率は1%くらい

 3月9日「タールピッティングによる阻止率はあまり高くない」で、「グレイリスティングを突破しそうなスパムメッセージは0.6%ほど」と述べた。これは、2月10日から3月9日19時までのログから拒絶ログソーティングスクリプトでカウントした推定メッセージ数とリトライシーケンス数から算出したデータである。
 しかし、2月17日から3月22日10時までのログからカウントしたところ、もう少し高めのデータになった。この期間中、偽陽性判定を除いて、推定メッセージ数は1715、リトライシーケンス数は16。ただ、リトライシーケンスをよく見ると、日付が2月22日、23日、26日のアクセスが1シーケンスとして表示されているものがあり、受けていれば3通だった可能性がある。一方、3月18日と21日の1回ずつのアクセスが、クライアントIPアドレス、送信者アドレス、受信者アドレスとも同じだったためリトライシーケンスとしてカウントされていたが、これはグレイリスティングを抜けられる正常なリトライではない。そこで、推定メッセージ数を1715+2+1=1718、リトライシーケンス数を16+2-1=17と補正すると、グレイリスティングを突破しそうなスパムメッセージの割合は1.0%ということになる。
 長期的に見ると、リトライするスパムの割合が増えつつあるという印象はない。2月10日から3月9日までの期間にはたまたまリトライシーケンスが少なめだったからで、0.6%と1.0%との違いは統計誤差だと思う。「450」で蹴ったスパムアクセスのうちグレイリスティングを突破する割合は1%くらいと思っておけばよいだろう。
 最近では、素のS25R方式による宛先の正しいスパムの阻止率は約98%である。リトライするスパムアクセスのほとんどは10分以上リトライしていることから、遅延時間5分(postgreyのデフォルト値)のグレイリスティングで自動救済した場合、「450」で蹴った約98%のスパムメッセージのうち約1%(全体のうちでもほぼ変わらず1%)がすり抜けることになるので、阻止率は約97%になると推定される。グレイリスティングを併用しても十分な阻止率を保てると言える。

木曜日, 3月 20, 2008

DNSBLって効くの?

 2006年11月24日「DNSBLの利用価値はあるか?」で「DNSBLを使う積極的な理由は見出せない」と書いたが、そもそもDNSBLによるスパム阻止率はどのくらいなのだろうかと思って検索してみた。
 ↑クリックしてご覧になればおわかりのとおり、「DNSBL」の代わりに「RBL」でもよい、「阻止率」の代わりに「拒否率」でもよいという検索ワード条件にしたのだが、ヒット件数は424件、表示件数はわずか59件。内容の抜粋に「%」という文字があるものはたいてい、私の論文のタイトルか、メール以外(BBS、コメント、トラックバック)のスパムに関する情報。日本語のページしか探していないが、DNSBLを使うサイトは少なくないはずだから、「スパムの受信を××%減らすことができた」と定量的なデータを公表する人が少しくらいいてもよさそうなもの。いったいどうしたことだろうか。
 かろうじて手がかりになったのは、3位にヒットした「日本語版のRBLサービス」というページ。最後の方にこんな記述があった。

spamcop.net効かせてみました。サーバのログ上、確かに相当な数のものがはじかれてはいるのですが、それでも尚、私のアカウントには毎日80通程度は届きます。以前は150通~200通だった事を思えば、効果はてきめんですが、「選別する手間はあまり変わらないかも・・。」って感じです。

ここから、SPAMCOPを利用した場合の阻止率は50~60%と推測される。たったそんなもんなの?
 RBL.JPのBlack list DB checkというCGIで、いくつかのDNSBLにホストが登録されているかどうかを調べることができるので、私のサイトに宛先の正しいスパムを送り込もうとしてS25Rで阻止されたホストを入力してみた。10個のホストを入力したところ、SPAMCOPには8個登録されていたが、それ以外のデータベース(list.dsbl.org、multihop.dsbl.org、VISI.COM、Relay Stop List、dev.null.dk Open Relay List、spamhaus、virus.rbl.jp、short.rbl.jp)には一つも登録されていなかった。
 もちろん、たった10個のスパム送信元ホストのデータだけでDNSBLの効果を定量的に評価することはできない。しかし、宛先の正しいスパムについて阻止率97%以上という定量的なデータが出ているS25R方式に比べれば、DNSBLの効果の低さは推して知るべしである。
 某大学に勤務する私の友人もスパムに悩まされていた。その大学のネットワーク運用を請け負っている会社は、S25R方式を知ってはいたが、ホワイトリスト登録のための監視作業はとてもできないと言って、DNSBLを使うことにしたそうである。DNSBLに頼ればログをこまめに監視しなくてもよい、偽陽性判定の心配はないとでも思っていたのだろうか。ホワイトリスト登録を自動化するにはRgreyか、あるいはグレイリスティングそのものを使えばよいものを。友人は、その後も相変わらずスパムが届いていると言っていた。
 以前、私のBBSに「S25R方式によってスパムの受信が劇的に減ったが、それだけに、すり抜けるスパムが目障り。これも食い止めたい」と書かれた方がいたので、「一日数通程度のすり抜けスパムを手動で捨てるくらい大した手間ではないでしょう」と答えたことがある。スパムの阻止率を100%に近付けようとがんばると、副作用の心配もある。前回、「スパムの受信が業務に支障がないくらい(一人一日数通程度)に減ればそれ以上がんばらないという割り切りも必要だと思う」と述べたのは、このことを念頭に置いたものだった。しかし、S25R方式を知らずに(あるいは、試用して評価してみようともしないで)DNSBLに頼っている人は、満足できる阻止率が得られずに、SpamAssassinなどによるコンテンツフィルタリングにもかなり依存せざるを得ない。だからスパマーとのいたちごっこから抜け出せず、「それ以上がんばらないという割り切り」どころではないんだろうな。