火曜日, 10月 30, 2007

ホワイトリストの正規表現の原則

 今日(10月30日)、ホワイトリスト情報をいただいて公開ホワイトリストファイルに掲載したついでに、過去の許可条件をいくつか修正した。
 これまで、許可条件の正規表現は、サイトドメインを丸ごと許可したり、サブドメインまで条件に含めたり、末端ホスト名の先頭の綴りを条件に含めたりと、作り方が一定していなかった。今後は、「エンドユーザーPCをインターネットに直結させているISPでないと認められるサイトについては、サイトドメインを丸ごと信用する」という原則で正規表現を作ることにした。
 たとえば、S25Rに引っかかるホストとしてmp-mta01011.bellemaison.jp、およびその数字部分が変わるものが報告されたことがある。この場合、

/^mp-mta[0-9]+\.bellemaison\.jp$/ OK

で許可されるが、末端ホスト名の構文の条件をはずして

/\.bellemaison\.jp$/ OK

としても危険はない。www.bellemaison.jpにアクセスすれば、bellemaison.jpが通販会社のドメインであることがわかる。まともな会社からスパムやウィルスメールが発信されることは、サーバが侵害された時か、サイト内のウィルス感染したPCから通常のメールルートでウィルスメールが出た時(本来、S25R方式では阻止できないケース)以外あり得ない。こういうサイトは丸ごと信用する方が、末端ホスト名の文字が異なる別のメールサーバがあった場合にまた引っかかるということを避けることができて好都合である。
 この原則で見直した過去の許可条件は、コメント行に「(revised)」と記している。
 一方、ISPが逆引き名を決めている接続サービス(通常、IPアドレス1個単位の販売)を使ったメールサーバの許可条件は、たとえば

# Jun 19, 2007: mail.ifscorp.co.jp
/^210-175-254-67\.cust\.bit-drive\.ne\.jp$/ OK

のように、当然ながら従来どおりホスト1個単位で許可するようにしている。

月曜日, 10月 29, 2007

Becky!でタイプBのフィルタリングができない問題

 「Becky!でスパムメールを自動的に90%以上捨てる方法」で説明している、タイプBのReceivedヘッダ(qmailのフォーマット)のフィルタリングができないという申告をBBSで受けた。フィルタリングができないスパムのメールヘッダのコピーを送っていただいた。Receivedヘッダ(受信メールサーバの名前を仮にmail.example.jpとする)は

Received: from unknown (HELO SPK07.localdomain) (122.43.126.192)
 by mail.example.jp
 with SMTP;
 25 Oct 2007 16:02:34 +0900

振り分け条件(正規表現)は

from (unknown|[0-9]|[^.]*[0-9][0-9][0-9][0-9][0-9]|[^.]*[0-9]+(([a-z]|-|_)+|\.)[0-9]).* by mail\.example\.jp

である。
 手動のSMTPで、上記のReceivedヘッダを含む自分宛のメールを作り、Becky!で受信して試験した。確かに最新版の2.41.00でフィルタリングできない。振り分け条件を変えながら試験したところ、正規表現処理のバグらしいとわかった。
 2.30.03にバージョンダウンすると問題が起こらないことがわかった。Readmeファイルによると、2.30.04へのバージョンアップで正規表現処理のバグを修正したとのことなので、その時にデグレード(別のバグの混入)が生じたのだろう。作者さんに報告した。
 問題が起こるのはタイプBの場合だけのようである。私は勤務先(MTAはsendmail)でタイプAのフィルタリングをしているが、問題は起こっていない。
 タイプBのフィルタリングをしたい人は、対処されるまで2.30.03にバージョンダウンするしかないだろう。
http://www.rimarts.jp/downloads/B2/bk23003j.exe
を実行すれば2.30.03をインストールできる。
 2.30.03の後にいろいろなバグ修正が行われているが、発現頻度の低いバグだと思う。重大なセキュリティ問題への対処は報告されていないので、特に支障がなければ、次のバージョンアップまで2.30.03を使っていても問題ないだろう。

(10月30日追記)
 作者さんがさっそく対処してくださった。テストバージョンの提供を受けて試験したところ、問題は解決されていた。近いうちにバージョンアップが出るだろう。

(11月1日追記)
 Becky! 2.42.00が出た。問題が解決されていることを確認できた。
http://www.rimarts.jp/downloads/B2/bk24200j.exe

水曜日, 10月 24, 2007

7日間見逃しなしの新記録

 勤務先でのBecky!によるフィルタリングで、10月15日23時49分に着信したスパムが見逃された後、次の見逃しは10月23日2時52分着信のものだった。その間、まるまる7日間、341通のスパムが連続してスパム用フォルダに振り分けられた。偽陽性判定はなかった。
 自宅サイトでは、押し寄せるスパムが勤務先に比べて少ないので(2006年9月28日「拒絶の効果?」)、1週間以上スパムの受信がないことはざらにあるが、勤務先では見逃しなしの最長記録である。
 もっとも、これはたまたまであり、長期間平均の判別率が99%を超えているわけではない。10月に入ってから23日までに受信したスパムは1200通余り、判別率は98.5%である。
 とはいえ、判別率がこれだけ高ければ、ほかに何もいらない。メールシステム担当がサーバでスパム対策をしてくれなくてもちっとも困らない。まして、スパムの排除率100%と称するサービスに金を払うなどまったくばかばかしくなる。

火曜日, 10月 23, 2007

Adobe ReaderおよびAcrobatのパッチ

 Adobe ReaderおよびAcrobatの脆弱性に対応するパッチが出た。対処されたバージョンは8.1.1である。
 Adobe Reader日本語版の8.1.1は、10月23日現在、まだダウンロードできないようである。8.1よりも古いバージョンを使っていた人は、まず8.1をインストールする。それから、8.1.1 update(ファイル名:ReaderUpd811_all_incr.msp)をダウンロードして実行してください。
 Adobe Acrobat 8.0および8.1対応のパッチはここからダウンロードできる。

日曜日, 10月 21, 2007

ルール6をまた変えようかと思ってやめた

 dialog.net.plドメインの、ホスト名が「xdsl」で始まるホスト(xdsl-5790.lubin.dialog.net.plなど)からのスパムアクセスが一時期多かったが、最近ではほとんどなくなった。と思ったら、dial-3295.wroclaw.dialog.net.plというホストからスパムアクセスが来た。
 そこで、9月17日に改良したルール6

/^(dhcp|dialup|ppp|[achrsvx]?dsl)[^.]*[0-9]/ 450 S25R check, be patient

をさらに

/^(dhcp|dial|ppp|[achrsvx]?dsl)[^.]*[0-9]/ 450 S25R check, be patient

と変更して、「dial」だけでダイヤルアップ回線と判定するようにしようかと考えた。
 しかし、よく考えた末にやめた。ホスト名が「dialog1」などだったらどうなる?おそらく、「dialog」という単語の頭4文字が、まったく意味の違う単語「dial」に一致することにすぐには気付かない人が多いだろう。ある程度英語に慣れれば、単語やフレーズをひとまとまりにとらえて頭の中で意味に結び付けるようになり、文字を一つずつ追うことはしないからである。「なぜ引っかかったのだろう?」と思い、「あ、そうか」と気付くまでに時間がかかるような拒否条件は、S25R標準として提案しない方がよいだろう(もちろん、サイトの判断でこの変更を取り入れるのは自由であるが)。
 IPアドレスを表す8桁の十六進番号を含むホスト名は世の中にかなりある。これを一網打尽にするには「/^[^.]*[0-9a-f]{8}/」という正規表現を使えばよい。しかし、それはS25R標準として提案しなかった。「speedfeed1」のようなホスト名が引っかかった時に、なぜ引っかかったのかがすぐには気付きにくいと思ったからである(2006年8月6日「十六進番号」)。それと同じ理由である。
 dial-3295.wroclaw.dialog.net.plのようなホストから何度もスパムアクセスが来るなら、次のようにブラックリスト登録すればよい。

/^dial.*\.dialog\.net\.pl$/ 450 domain check, be patient

火曜日, 10月 16, 2007

Becky!でのフィルタリングの紹介記事を改訂

 「スパム対策技術」の目次ページからリンクしている随筆記事「Becky!でスパムメールを自動的に90%以上捨てる方法」を改訂した。
 この記事は2005年1月に書いたものである。そのころは、勤務先のメールサーバのsendmailがReceivedヘッダに送信元ホストの逆引き名を記録してくれなかったので、S25Rを応用した正規表現でHELOアドレスを検査して約60%、HTMLメールを捨てるフィルタを加えて約80%、さらに、怪しい単語(「viagra」など)を引っかけるフィルタを加えて約90%をごみ箱行きにしていた。そのノウハウをベースに書いたものだった。
 その後、2006年8月から勤務先のメールサーバで逆引き名が記録されるようになったので、実験の結果、改良した簡易一般規則を作り、ブラックリストと併せて約97%のスパムをごみ箱行きにできるようになった。そのノウハウを2007年1月に追記していた。
 しかし、古い情報に新しい情報を追記することで内容がごちゃごちゃし、読者には「要するにどう設定するのがよいのか」がわかりにくくなっていると思った。そこで、改良前の簡易一般規則などの古い情報を捨ててしまい、現時点で役立つ情報だけに絞って書き直した。
 Receivedヘッダに逆引き名が記録されないケース(記事ではタイプCと称している)の設定方法の説明は思い切ってやめて、「ここでご説明する方法ではあまり効果が得られません。あきらめてください。m(_"_)m」と書いた。最近では、HTMLメールを捨てるフィルタも、怪しい単語を引っかけるフィルタもあまり効果が上がらないと思われるからである。おそらくこのケースで判別率90%以上を達成することはできなくなっていると思う。逆引き名を手がかりにできないケースでは、ベイジアンフィルタを使った方がよいだろう。

木曜日, 10月 11, 2007

Adobe ReaderおよびAcrobatに脆弱性

 Adobe ReaderおよびAcrobatに脆弱性が発見された。

http://www.adobe.com/support/security/advisories/apsa07-04.html

 悪意で細工されたPDFファイルを開いた時にPC上で任意のコードが実行されるおそれがある。Internet Explorer 7がインストールされたWindows XPで問題が生じる。Windows Vistaでは問題はない。
 アップデートは現時点でまだ出ていない。10月末までに出すとAdobe社は言っている。
 Adobe社の上記ページでは、レジストリをいじることによって危険を回避する方法が説明されている。しかし、PCの取り扱いにプロ級の腕を持つ人でない限り、そんなことはしない方がよい。情報システム部門あるいは情報セキュリティ部門の人は、組織内のユーザーにそんなことを指示すべきではない。
 それよりも、次の注意事項を守ることである。

●スパムに添付されたPDFファイルは絶対に開くな。
●信頼できるサイトでない限り、PDFファイルを閲覧するな。

(続編)
Adobe ReaderおよびAcrobatのパッチ

月曜日, 10月 08, 2007

素のS25R方式の人気

 前回、公開ホワイトリストファイルをcronジョブで自動取得されているサイトがいくつかあることを述べた。某国際空港をはじめ、組織サイトでも素のS25R方式がかなり使われていることを物語っている。某情報系大学で素のS25R方式が使われている事例があることもわかっている。
 「導入者の皆様の声」には、素のS25R方式は組織サイトでは多数のホワイトリスト登録を要するという報告がある。アメリカ在住の廣島さんは、約40人のサイトで500件ほど登録したところでほぼ落ち着いたとのこと。Kさんの会社では、約18,000人に提供するメールサービスで、偽陽性判定を避けるためにルール0(逆引き失敗)とルール6しか使っていないが、逆引きできないホストのホワイトリスト登録が1000件以上になった。約5000人のユーザーを擁する東京外国語大学の芝野先生は、独自の自動ホワイトリスティングプログラムの稼動前の暫定運用期間にホワイトリストを約800件登録された。約4000人にメールサービスを提供する株式会社いとうの高村さんは、最初偽陽性判定の頻発に困り、佐藤さんのQgreyのおかげでスパム対策に成功した。これらは2004~2005年にいただいた報告である。
 ある程度以上の規模の組織サイトなら、私よりもスキルが高くて勤勉なスタッフがそろっていて、Rgreyなどでホワイトリスティングを自動化するくらい何でもないはずである。ところが、今ではかなりの規模の組織サイトでも素のS25R方式が使われている。それは、逆引きできないメールサーバが国内では減っているのに加えて、公開ホワイトリストが充実したため、それを利用すればホワイトリスティングを自動化しなくても十分に実用になると判断されているからだろう。ログ監視に注意しなければならないが、私の拒絶ログソーティングスクリプトを使えば、リトライするメールサーバに対する偽陽性判定を発見するのは楽である。ホワイトリスト登録の手間が初めから少ないなら、グレイリスティングサーバをインストールして運用管理対象のサブシステムを増やすまでもないという判断も当然あるだろう。スキルのある人は、リトライアクセスを見つけてアラートするプログラムを作るかもしれない。ホワイトリスト登録の可否を人が判断すれば、リトライするスパムにだまされるおそれは少ない。
 公開ホワイトリストは100件にも満たない。それでも、かなりの規模のサイトで偽陽性判定を大幅に減らしているらしい。それは、100件弱の正規表現がその数倍の数のホストを救済しているからではないかと思う。早い時期にS25R方式を導入した組織サイトでは、導入初期に偽陽性判定が頻発し、ホスト一つ一つを登録するのに忙しくて件数が多くなったのかもしれない。一方、私の個人サイトでは偽陽性判定が頻発しないので、私は「このサイトのこのサブドメインの配下は丸ごと許可しても大丈夫だ」などと考えながら正規表現を作る余裕があった。それを公開したら、ホワイトリスト情報を提供してくださる方々(個人サイトや小規模サイトの方が多いと思われる)も同じように、該当サイト内のまだ引っかかっていない他のメールサーバも併せて許可できる正規表現を提示してくださった。だから、公開ホワイトリストを取り入れた大規模サイトでも、それにならって効率の良い正規表現を作ることができていると考えられる。
 S25R方式は簡単だから個人サイトや小規模サイトで多く使われる→善意の協力者からホワイトリスト情報が提供される→公開ホワイトリストが充実する→使いやすくなる→ますます多く使われるようになるという好循環が起こり、大規模サイトでも素のままで実用になるようになった。「逆引きできない正当なメールサーバを蹴るのはけしからん」、「ホスト名に数字を多く含むメールサーバを誤判定するからだめだ」、「個人サイトくらいにしか使い物にならない」などとS25R方式を批判していた人たちは、この好循環を予見できなかったことを反省されるとよいだろう。

ホワイトリストファイルを自動取得されているサイト

 アクセスログを調べたら、公開ホワイトリストファイルを定期的に自動取得されているサイトがいくつかあるのがわかった。

某任意団体様:毎日4時00分
(逆引きできず):3日ごと4時42分前後
某社会貢献団体様:1~2日ごと4時42分前後
某個人サイト様:毎日6時00分
某通販会社様:毎日6時00分
某国際空港様:毎日6時00分
某空港施設管理会社様:毎日6時00分
某空港宅配会社様:毎日6時00分

 私のちっぽけな個人サイトがこれだけ頼られていると、責任感じちゃうなあ。(^^;)
 それにしても、申し合わせたようにアクセス時刻がそろっているのはなぜ?どなたかが作ったcronジョブが出回っているのだろうか。

金曜日, 10月 05, 2007

スパマーは無益な進歩はしない

 前回の記事「スパマーは進歩しているのか?」で
「世の中で言われるほどにはスパマーの手口は進歩していないような気がする。それは、防御の弱いサイトが多いため、あえて手口を進歩させなくても儲かるからなのかもしれないが。」
と述べた。後になって「そうか!」と気付いた。スパマーは、儲からない進歩はしないのだ。
 画像スパムはなぜ廃れたか。確かにベイジアンフィルタというアンチスパムシステムを突破することはできる。しかし、画像に書いてあるURLを手で打ち込むなどというめんどくさいことをする受信者はほとんどいない。ワンクリックで目的のサイトへ誘導できてこそ、何万人かに一人のカモを引っかけることができるのである。だから、画像を付けるにしても、URLを書いたHTMLタグは必要である。それを書けば、ベイジアンフィルタは学習する。ベイジアンフィルタを画像で突破する戦略は採算がとれないのである。
 結局、ベイジアンフィルタはスパムに敗北しなかった。スパマーに画像スパムをあきらめさせたのは、画像にはパターン認識技術で対抗しようという新しいアンチスパム技術ではなかった。気まぐれでめんどくさがり屋の大衆だった。
 スパマーが狙う本質的な目的は、アンチスパム技術を破ることではない。宣伝によってカモを引っかけて儲けることである。アンチ画像スパムの技術など必要ではなかった。そんな軍拡競争に突き進もうとしていたアンチスパム研究者は、スパマーのビジネス感覚に気付かず、肩透かしを食らったのである。
 私も大きなことは言えない。今気付いたのだから。しかし、アンチ画像スパムの技術が必要になるなどとは思っていなかった。S25R方式は、敵がDNSBL破りを試みようとも画像スパムを繰り出そうとも、4年間にわたって平然と97~99%のスパムをはじき続けてきたからである。頭のいい人って、なんでそう難しいことを考えるのだろう?――そう思っていた。
 受信拒否されたら別のボットから再送を試みるという、2004年ころに観測されたDNSBL破りと思われるアクセスが廃れたのも、それがペイしない理由があるのだろう。同じホストから送信者アドレスを変えながら再送する古臭い手口が最近多いのは、送信者アドレスのブラックリストでブロックするという古臭い防御をしているサイトが多いからだろう。つまり、送信者アドレスを変えないことによってグレイリスティングを突破しようと試みるよりも、送信者アドレスのブラックリストを突破するのを試みる方がペイするのだろう。SPF破りも、将来の儲けのために技術確立をしただけ。投資に見合わないと思ったらやめるだろう。
 スパマーとの軍拡競争は際限なく続くと絶望感に陥っている人は少なくないだろうが、私はそうは思っていない。スパマーとの戦いが終焉を迎える時は来ると思っている。スパムは10万通ばらまいて一人のカモが引っかかればペイするとの情報を目にしたが、ならば、一人のカモを引っかけるのに100万通、1000万通のスパムが必要になるようにしてやればよい。スパムがペイしなくなる時が我々の勝利である。
 スパムがなくなるとは思わないが、誰も大量スパムに困らなくなる時はきっと来る。世界で最初にそうなる国はたぶん日本だと思う。なにしろ、スキルの高くないメールシステム管理者でも使える無料のアンチスパム技術が、国際共通語の英語だけでなく、(概して英語の不得意な日本人には幸いなことに)日本語というローカルな言語でも発表され、しかも日本語の情報が最も多く、開発者と日本語で対話することができるのだから。(^o^)

月曜日, 10月 01, 2007

スパマーは進歩しているのか?

 仙石浩明さんのブログ記事によると、SPF(Sender Policy Framework)チェックをパスするスパムが増えているらしい。
 SPFとは、ドメインのDNSで、そのドメインを送信者アドレスとするメールを送信するホストを宣言する方式である。たとえば私は、自サイトのDNSのgabacho-net.jp.ゾーンファイルに

gabacho-net.jp. IN TXT "v=spf1 +ip4:219.163.213.18 ~all"

と記述することによって、送信者アドレスのメールドメインがgabacho-net.jpであるメールはIPアドレス219.163.213.18のホストからのみ送信されることを宣言している。もしgabacho-net.jpドメインを送信者アドレスとするメールが別のホストから送信されたら、受信側ではそれを不正メールと判断できる。(私はSPFをスパム判定に用いてはいない。SPFをスパム判定に用いているサイトのために送信側としてSPFを設定しているだけである。)
 SPFチェックをパスするスパムの送信者ドメインの大多数は、「"v=spf1 +all"」という指定で、すべてのIPアドレスがそのドメインの送信元として正当であるという、SPFの目的にそぐわない宣言をしているとのことである。つまり、そのようなおかしな宣言をしているドメインをスパマーが送信者アドレスに悪用しているか、スパマーが送信者アドレス用に多数のドメインを取ってそのような宣言をしているかのどちらかである。
 スパマーは早くも、新しいスパム対策方式であるSPFの裏をかき始めた。このことを聞くと、スパマーの手口はどんどん進歩しているように思える。
 しかし一方、私のサイトでS25Rではねられているスパムアクセスを観測していると、防御を突破しようとする手口が古臭いものが多い。最近よく見かける繰り返しアクセスのパターンの一例を示す。

Sep 29 21:54:00 adsl196-224-120-217-196.adsl196-12.iam.net.ma [196.217.120.224] from=<tequilla69leon@hotmail.com> to=<webmaster@gabacho-net.jp> helo=<bavfay>

Sep 29 21:55:41 adsl196-224-120-217-196.adsl196-12.iam.net.ma [196.217.120.224] from=<rmuluub@bodas.com> to=<webmaster@gabacho-net.jp> helo=<bavfay>

Sep 29 21:57:34 adsl196-224-120-217-196.adsl196-12.iam.net.ma [196.217.120.224] from=<qijn@boxdies.com> to=<webmaster@gabacho-net.jp> helo=<bavfay>

Sep 29 21:59:34 adsl196-224-120-217-196.adsl196-12.iam.net.ma [196.217.120.224] from=<tequilla5@yahoo.de> to=<webmaster@gabacho-net.jp> helo=<bavfay>

Sep 29 22:01:35 adsl196-224-120-217-196.adsl196-12.iam.net.ma [196.217.120.224] from=<tenqvist@cc.oulu.fi> to=<webmaster@gabacho-net.jp> helo=<bavfay>

Sep 29 22:03:30 adsl196-224-120-217-196.adsl196-12.iam.net.ma [196.217.120.224] from=<npn@bluetoadflowers.com> to=<webmaster@gabacho-net.jp> helo=<bavfay>

Sep 29 22:06:32 adsl196-224-120-217-196.adsl196-12.iam.net.ma [196.217.120.224] from=<wgsukanvc@brantainc.com> to=<webmaster@gabacho-net.jp> helo=<bavfay>

Sep 29 22:08:57 adsl196-224-120-217-196.adsl196-12.iam.net.ma [196.217.120.224] from=<tesalesinquiries@transcore.com> to=<webmaster@gabacho-net.jp> helo=<bavfay>

Sep 29 22:11:04 adsl196-224-120-217-196.adsl196-12.iam.net.ma [196.217.120.224] from=<ten@quik.com> to=<webmaster@gabacho-net.jp> helo=<bavfay>

アクセスを1~3分ごとに9回繰り返しているが、送信者アドレスを毎回変えている。今時、受信拒否されたら送信者アドレスを変えれば防御を突破できるとでも思っているのだろうか。最初のアクセスから最後のアクセスまでの間隔は17分ある。むしろ送信者アドレスを変えない方が、グレイリスティングを突破できるのに。
 S25R方式が完成して間もないころの2004年5月17日に私が随筆記事に書いたアクセス拒否記録は、もっと優れた攻撃戦略を物語っていた。

May 11 06:31:14 c-24-1-242-77.client.comcast.net [24.1.242.77]
May 11 06:31:39 c-67-162-42-132.client.comcast.net [67.162.42.132]
May 11 06:31:47 pcp884342pcs.puntag01.fl.comcast.net [68.56.37.144]
May 11 06:32:01 pcp440857pcs.sprngf01.ga.comcast.net [68.51.185.109]
May 11 06:34:45 unknown [4.16.190.194]
May 11 06:34:54 116.226.27.24.cfl.rr.com [24.27.226.116]
May 11 06:35:06 pcp04663154pcs.wilog501.pa.comcast.net [68.81.20.24]
May 11 06:35:15 h00c04f022685.ne.client2.attbi.com [24.218.98.233]
May 11 06:35:39 c-24-21-152-171.client.comcast.net [24.21.152.171]
May 11 06:35:57 wiley-218-3824.roadrunner.nf.net [205.251.197.177]
May 11 06:36:24 lsanca1-ar58-4-7-180-005.lsanca1.dsl-verizon.net [4.7.180.5]

ほぼ1分未満の間隔で、異なるホストから同じ宛先(この場合、わざとスパマーに拾わせたおとりアドレスだったが)への送信が11回繰り返されていた。このパターンは何度も見つかっていた。ボットネットを駆使して、受信拒否されたら別のボットから送信を試みるというやり方だったに違いない。この例ではS25Rでことごとくはねることに成功しているが、DNSBLによる防御を突破する戦略としては、敵ながらあっぱれだと言いたくなる。しかし、このようなアクセスは最近見つからない。
 7月17日「またもやリトライするスパム」で、約10分間隔で3回繰り返すスパムアクセスを発見したことを述べた。グレイリスティングを突破しようとする戦略であろう。このパターンも、9月に入って以降見かけなくなった。2回だけ繰り返すアクセスがたまに見つかる程度である。
 S25Rを突破するスパムには、メールサーバを中継したものや、メールサーバにボットを仕掛けて発信したと思われるものが多い。しかし、特にS25Rを突破しようともくろんだものではないようである。スパム対策をしていない勤務先でBecky!によるフィルタリングにかからないスパムにも、そういうものをよく見かける。とはいえ、S25Rを突破するスパムの割合は増えていない。9月2日から10月1日21時までのログから拒絶ログソーティングスクリプトでカウントした推定メッセージ数は927通。この期間に受信したスパムは7通で、送信元ホスト数は6個だった。つまり阻止率は99%を超えている。
 SPFチェックを突破しようとするスパマーが現れる一方で、DNSBLによる防御を突破しようとする攻撃は廃れ、グレイリスティングを突破しようとする攻撃もたまにしか現れない。ベイジアンフィルタを突破しようとする画像スパムも最近見かけなくなった。防御を突破することをあえて試み、それを粘り強く続けるスパマーは、実はあまりいないのではないか。世の中で言われるほどにはスパマーの手口は進歩していないような気がする。それは、防御の弱いサイトが多いため、あえて手口を進歩させなくても儲かるからなのかもしれないが。

日曜日, 9月 30, 2007

ホワイトリスト情報の報告が増えた

 最近、メールやBBSでホワイトリスト情報の連絡をいただくことが多くなったような気がして、公開ホワイトリストファイルを振り返ってみた。コメント行に「(*)」のマークがあるのが協力者から報告された情報であり、日付は報告された日である。
 報告があった月は、2004年には11月、2005年には5月、7月、8月、2006年には1月、3月、12月だった。2007年に入ってからは、9月まで毎月報告をいただいている。件数は、2004年から2006年までの合計が28件だが、2007年には9月までですでにそれを上回る37件になっている。
 ホワイトリスト情報を報告してくださる人にとって、自分に直接得になることはない。中には、Rgeryを使っていてホワイトリスト情報を必要としないにもかかわらず、Rgreyで自動許可されたホストの情報を知らせてくださる方もいる。S25R方式を使う他サイトに役立ててもらおうという無償の善意である。ありがたいことである。そういう善意の人が増えているのは、S25R方式を導入する人の総数が増えているからに違いない。
 ホワイトリスト情報は、実際に役に立っているようである。沼津高専のサイトにある「平成18年度高専情報処理教育研究委員会 承合事項」(PDFファイル)という文書で、全国の高専への迷惑メール対策のアンケートの結果が報告されている。その中に、S25R方式の導入結果の報告として

結果として9割方のスパムを阻止できている。S25Rの導入後に幾分の誤動作があったが、その後発表されたパッチをあてることによりほとんど改善されている。

とある。パッチとはホワイトリスト情報のことだろう。高専ほどの規模のサイトに、私が公表している100件にも満たないホワイトリストで十分だとは思えないが、偽陽性判定の頻発を避けるにはかなり役立っているのだろう。
 S25R方式を導入するサイトが増え、ホワイトリスト情報を報告してくださる人が増える。それで公開ホワイトリストが充実する。これからS25R方式を導入する人は、公開ホワイトリストを組み込むことにより、初めから偽陽性判定の頻発を避けることができる。そのため、S25R方式は使いやすいと評価され、評判が広まってますますS25R方式を導入するサイトが増える。S25R方式の普及は、今、間違いなく好循環に乗っている。

火曜日, 9月 25, 2007

「驚異のスパムフィルタ」とお褒め

 「我的名字叫’佐野’的Blog」さんで「驚異のスパムフィルタ」と題して絶賛をいただいている。会社で社員全員にスパムが送られてくるようになり、S25R方式を採用されたとのこと。

「Postfixの正規表現フィルタにある法則を登録するとあら不思議厄介な発信元をことごとく拒否してくれます。まっとうなメールはちゃんと通過してきます。」
「おどろきました。どんなスパムフィルタよりも簡単で確実にフィルタしてくれます。」
「ホワイトリストで救済するアドレスはうちの会社の場合多くはないのでメンテも簡単に済みそうです。」
「効果をみれば誰もが黙りますね。」

こういう言葉で賞賛していただけるのは本当にうれしい。
 ご利用ありがとうございます。

土曜日, 9月 22, 2007

お気に入りアイコン

 スパム対策技術のページのお気に入りアイコンを作ってみました。こんなの。

木曜日, 9月 20, 2007

属性ラベルホワイトリストに落とし穴

 9月14日に属性ラベルホワイトリストのアイデアを紹介したが、地域ドメインの許可条件に落とし穴があることに気付いた。当初、

/\.(pref|metro|city)\.[^.]+\.jp$/ OK
/\.(city|town|vill|ward)\.[^.]+\.[^.]+\.jp$/ OK

と書いていたが、これだと、ne.jpは丸ごと信用はしないというポリシーにもかかわらず、metro.ne.jpやcity.ne.jp(いずれも実在する)、それに*.city.EXAMPLE.ne.jpなどのパターンのサイトが丸ごと許可されてしまう。そのため、ne.jpを冠するISPのエンドユーザー回線からスパムやウィルスメールを受けるおそれがある。
 そこで、サイトドメイン名や地域ドメイン名は3文字以上でなければならないというJPNICの規則に基づいて、3文字以上を意味する「{3,}」を指定することにより、jpの直下の階層が2文字の属性ラベルとマッチするのを回避するようにした。
 記事本文を修正したので、9月19日までに許可条件をコピーして取り入れられた方は修正してください。

月曜日, 9月 17, 2007

ルール6を改良

 論文を2004年6月に発表して以来初めて一般規則に手を加えた。ルール6を次のように変更した。

/^(dhcp|dialup|ppp|adsl)[^.]*[0-9]/ 450 S25R check, be patient
↓
/^(dhcp|dialup|ppp|[achrsvx]?dsl)[^.]*[0-9]/ 450 S25R check, be patient

 きっかけは、dsl411.rbh-brktel.pppoe.execulink.comというホストからスパムを受信したことである。そこで、「adsl」のみならず、DSL系のあらゆる名前で始まって数字を含む末端ホスト名をルール6で引っかけるようにした。
 これに伴い、

# xdsl-5790.lubin.dialog.net.pl
/^xdsl.+\.dialog\.net\.pl$/ 450 domain check, be patient

というブラックリスト項目は不要になったので、ブラックリストの実例から削除した。
 ルール6をこのように直したところで、それが役立つことはまれである。すでにS25R方式を運用している皆さんにあえて手直しをお勧めするというほどのことではない。ただ、DSL系の名前として「adsl」以外に「xdsl」に続いて「dsl」も見つかったので、ルール6でDSL系の名前をすべて網羅することでルールを“美しく”したかったのである。

(9月18日追記)
 「役立つことはまれである」と書いてから12時間もしないうちに、改良後のルール6が役立っていた。

Sep 18 05:35:34 reject: RCPT from xdslak126.osnanet.de[85.8.99.126]: 450 4.7.1 <xdslak126.osnanet.de[85.8.99.126]>: Client host rejected: S25R check, be patient; from=<melody.foubert@christianlovelight.com> to=<deo@gabacho-net.jp> proto=ESMTP helo=<xdslak126.osnanet.de>

金曜日, 9月 14, 2007

属性ラベルホワイトリストはいかが?

 S25R方式の開発途上のころ、jpドメイン配下の属性ラベル(ac、co、goなど)を許可条件にしてはどうかというアイデアが浮かんだことがある。しかし、そのころはad.jpをエンドユーザー回線に割り当てているISPから不正メールアクセスが来ることがあり、また、ne.jpができる前からor.jpを使っているネットワークサービスサイトから不正メールアクセスが来はしないかとも懸念していた。そうこうするうちに、全世界に普遍的に通用する一般規則ができ上がって、jpドメインでしか通用しない判定条件は必要なくなった。
 このアイデアがまた頭をもたげてきた。最近はne.jp以外の属性型jpドメインからの不正メールアクセスがまったく来ないからである。次の例のような行政区属性ラベル付きの地方公共団体ドメインからも不正メールアクセスが来たことはない。

pref.kanagawa.jp
city.yokohama.jp
city.hachioji.tokyo.jp
vill.ogasawara.tokyo.jp

 そこで、属性ラベルに基づいてサイトを丸ごと信用する許可条件を設けることにより、明らかに信用できる組織のホスト名が一般規則に引っかかって誤ってブロックされるのを避けることができる。したがって、ホワイトリスト登録の手間が少し減る。
 許可条件の書き方は次のとおりである(ne.jpだけは丸ごと信用はしない)。

…(ホワイトリスト)…
…(ブラックリスト)…
/\.(ac|ad|co|ed|go|gr|lg|or)\.jp$/ OK
/\.(pref|metro|city)\.[^.]{3,}\.jp$/ OK
/\.(city|town|vill|ward)\.[^.]+\.[^.]{3,}\.jp$/ OK
…(一般規則)…

 ブラックリストの後に置くのは、セキュリティの甘いエンドユーザーPCをインターネットに直結させていてそこから不正メールアクセスを出すサイトや、co.jpを冠する会社があこぎな商売でスパムを送信するのが万一見つかった場合に、ブラックリストの拒否条件を優先させるためである。そのため、論文で推奨している設定ファイル構成では、属性ラベルに基づく許可条件はrejectionsファイルの中に書くことになる。許可条件を含むのにファイル名が「rejections」では気分悪いと思われる方は、「restrictions」に変えるなり、よきにはからってください。
 このアイデアは、このブログでしか書かない。「スパム対策技術」のウェブサイトで発表することは考えていない。そこには全世界に普遍的に役立つコンテンツを日英二ヶ国語で書くという方針をとっており、日本国内および日本との通信が多いサイトにしか役に立たないアイデアをそこで紹介するつもりはないからである。
 S25R方式を導入している国内サイトで、偽陽性判定を減らしたいと思っている方にはお勧めする。ただ、私自身は使っていない。自分のサイトでの偽陽性判定を避けることよりも、一般規則に引っかかるホストを見つけてホワイトリスト情報として公表することを重要視しているからである。

土曜日, 9月 08, 2007

週末の受信失敗はあきらめてもよい

 前回、休日にもログを監視した方がよいと述べた。しかし、別の考え方が浮かんだので、今回はあえて逆説的なことを言う。オンラインショッピングの確認メールが2日でリトライアウトし、週末の間に救済できなかったからといって、それが取り返しのつかないほどの問題だろうか。
 週明けにスタッフがログを確認し、リトライアウトしているアクセスを見つけたらユーザーに知らせる。ユーザーは、どうしても受けたかった確認メールだったならばオンラインショッピング会社に問い合わせればよい。
 メールサーバの運用者は、正当なメールを受信するために最善の努力をすべきであるが、最善の努力としてどこまでできるかはサイトの事情による。スタッフが自発的に休日にもリモートでログを監視してくれればそれに越したことはないが、スタッフの少ない組織サイトでは、週末にレジャーにも行けないような働きをスタッフに命令するわけにはいかない。金曜の夕方にログを確認して、必要なホワイトリスト登録をしてから帰り、月曜(3連休の場合は火曜)の朝にまたログを確認して、必要なホワイトリスト登録をする。これによって、Postfixやsendmailのデフォルト設定で5日間リトライするメールの受信は十分保証できる。そこまでが精一杯であれば、それがそのサイトの最善の努力である。スパムを受信することによるリソース消費のリスクと、リトライ期間の短い正当なメールを受け損なうリスクとのバランスや、スタッフの負担を勘案して、それでよいと判断するなら、それがそのサイトのポリシーである。
 5日よりも長くリトライするメールサーバはまずないと思われるので、長期休暇中に5日間のリトライを放置するようなことはしないでほしいが、2日以下しかリトライしないメールを運悪く週末の間にリトライアウトさせてしまったからといって、送信側に迷惑をかけたと思う必要はないだろう。リトライ期間を短く設定している送信側サイトは、受信側サーバが故障した場合に、復旧までもう少し長く待ってあげるよりも送達失敗の確率が増えるというリスクを当然承知しているはずである。送達失敗のリスクは、どうしても届けたいメールならば送信者が再送するか、受信者が知ったら送信者に再送を依頼するか、あるいは別の連絡手段をとるなどして、人手でカバーすればよいのである。
 リトライ期間の短いメールをリトライアウトさせてしまうリスクをS25R方式の問題点として批判する向きもあるかもしれないが、Postfixのオペレーションがどうにかできるくらいのスタッフしかいない、お金もないというサイトが使えるスパム対策がほかにあれば示してもらいたいものである。増える一方のスパムからネットワークリソースやユーザーの業務を守ることは多くのサイトにとって緊急課題である。応答コード「4xx」を返して送信を待ってもらうこと(言わば、一時的トラブルのふりをすること)は、リソースを守るための自衛権の範囲内である。
 S25R方式を批判することは自由だが、スパムの被害にやむにやまれずS25R方式を採用するサイトのポリシーを批判する権利など誰にもない。そのサイトが、正当なメールを受け入れるために最善の努力をしている限りは。

月曜日, 9月 03, 2007

休日にもログを監視した方がよい

 送信側メールサーバは、受信側メールサーバへのアクセスに対して応答なしの場合(ネットワークの不通や、サーバの故障か停止が考えられる)、コネクション拒否応答が返された場合(MTAデーモンが停止していることが考えられる)、応答コード「4xx」が返された場合(クライアントの逆引きや送信者ドメインのDNS検索に失敗した場合、メールボックスに一時的に書き込みができない場合、グレイリスティングにかけられた場合など)に、適度な時間間隔で送信をリトライする。リトライ期間は、古くから使われているsendmailのデフォルト設定では5日である。Postfixでも同じである。
 リトライ期間のデフォルトがなぜ5日なのか。かなり運悪く長時間にわたってメールサーバのトラブルが続いたというケースを想定してみよう。
 企業や学校などで、金曜の17時にスタッフが帰った後、運悪く18時にハードディスクが故障した。さらに運悪く、月曜は祝日だった。火曜の朝、スタッフが出勤して故障に気付き、サポート業者を呼んだ。午後になってサポート業者が到着。ディスクを交換して、システムを再構築し、バックアップからデータを復元して、動作試験。復旧したのは20時だった。ダウン時間は4日と2時間。送信側メールサーバが5日間リトライするようになっていれば、こういうケースでもメールは届く。
 ゴールデンウィーク、1週間の夏期休暇、または年末年始の期間中にサーバの監視をまったくしなかった場合は、ダウン時間が5日を超えることがありうる。しかし、リトライ期間をあまり長く設定すると、ついにメールが送達しなかった場合に送信者がそれを知るのが遅くなってしまう。5日間のリトライ期間は、デフォルト値としてちょうどよいだろう。
 リトライ期間は、Postfixではmaximal_queue_lifetimeパラメータ(バウンスメールについてはbounce_queue_lifetimeパラメータ)で設定できるが、通常のメールサーバでは、あえてデフォルトから変更している人は少ないだろうと思う。ただ、5日というデフォルト値が決められたのは、インターネットの黎明期。相手サーバは故障しているかもしれないから気長に待ってあげようという心が背景にあったと考えられる。インターネットを使ったビジネスが忙しくなった今は、そこまで悠長に待ってはいられないと考える人がいても不思議はない。
 S25Rのルールに引っかかる、オンラインショッピングの確認メール送信サーバが2日でリトライアウトするケースがあることがわかった。素のS25R方式を使っている組織サイトで、週末にスタッフが不在になる場合、金曜の夜に送信が開始されたメールは日曜の夜にリトライアウトしてしまう。オンラインショッピングの確認メールは、受信者にとって受け損なうと困る大事なメールである。
 私は毎日朝と夜には拒絶ログソーティングスクリプトでリトライアクセスの有無を確認している。旅行中にも(PHSの電波が届かない所へ行かない限りは)毎日モバイルで確認している。だから、1日以上リトライしてくれるメールは受信できる。しかし、素のS25R方式を使う組織サイトにとっては、3連休があることを考えればせめて4日はリトライしてほしいところだろう。
 とはいえ、インターネットの世界では、サイトのポリシーの自由がある。S25R方式を採用するのも自由なら、リトライ期間を2日に設定することも自由である。S25Rに引っかかるすべての他サイトに4日以上のリトライあるいは逆引き名の変更を要求することは非現実的である。自サイトのポリシーに伴う副作用の問題は、他サイトのポリシー変更を要求することによってでなく、自らの努力で解決すべきである。
 私が協力者からの情報も集めて公開しているホワイトリスト情報を利用すればめったなことはないとは思うが、それでも休日にも一日一度はリモートでログを監視した方がよいだろう。
 さもなければ、Rgreyなどでホワイトリスティングを自動化することを考えた方がよい。リトライするスパムがすり抜けてしまうおそれがあるが、私のサイトでの観測によれば、受け入れまでの遅延時間を25分に設定すればほぼ防げることがわかっている。また、正当なメールが25分未満でリトライアウトするケースは見つかっていない。
 なお、正当なメールが1時間ほどでリトライアウトするケース(メールマガジン、携帯電話サイトからのエラーリターン)があることがわかっているが、これは素のS25R方式では、あらかじめホワイトリスト情報を取り込んでおくことでしか救済しにくい。素のS25R方式を使う組織サイトでは、こういうリスクがあることをユーザーに説明しておいた方がよい。また、救済できなかったリトライアクセスを見つけたらユーザーに知らせるようにした方がよい。
 もっとも、送信側が1時間ほどでリトライアウトするということは、受信側サーバの故障あるいはメンテナンスにぶつかってもメールを届けたいという意思がないということだから、受け損なっても大して問題のないメールだと考えてよいと思うが。

土曜日, 9月 01, 2007

宛先の正しいスパムが増えた

 2007年8月には、不正メールの送信元ホストは4863個だった。6月には6158個だったのに比べて減っている。一方、宛先の正しい不正メールの送信元は1244個で、6月には575個だったのに比べて2倍以上に増えている。しかし、受けてしまったスパムは増えなくて10通、送信元ホスト数は8個だった。

■全不正メールの送信元(4863個)
●一般規則で4671個(96.1%)。
●ブラックリストを合わせて4777個(98.2%)。
●違法なHELOアドレスの検査による増加はなし。
●送信者ドメインの実在の検査で1個増加。
●変なReceivedヘッダの検出で3個増加。

ここまでの合計は4781個(98.3%)。それと、

●ポーランド、ロシア、チェコの国ドメインを丸ごと蹴飛ばす反則技で20個増加。

以上の合計で阻止数は4801個(98.7%)。
 反則技以外のフィルタによる阻止率98.3%は、6月の98.4%とほぼ同じである。反則技による阻止を含めた98.7%は、6月のデータと変わっていない。

■宛先の正しい不正メールの送信元(1244個)
●一般規則で1142個(91.8%)。
●ブラックリストを合わせて1221個(98.2%)。
●違法なHELOアドレスの検査による増加はなし。
●送信者ドメインの実在の検査で1個増加。
●変なReceivedヘッダの検出で3個増加。

ここまでの合計は1225個(98.5%)。それと、

●ポーランド、ロシア、チェコの国ドメインを丸ごと蹴飛ばす反則技で11個増加。

以上の合計で阻止数は1236個(99.4%)。
 すべてのサイトにお勧めできるわけではない反則技を使わないとした阻止率は、6月には、全体で98.4%、宛先の正しい不正メールについて95.8%。それ以前も、全体の阻止率よりも宛先の正しい不正メールの阻止率が低かった。ところが8月には、宛先の正しい不正メールの送信元が2倍以上に増えるという変化があり、全体の阻止率は98.3%、宛先の正しい不正メールの阻止率はそれよりもわずかに高い98.5%になった。反則技を含めて99.4%とびっくりする値になり、受信したスパムは増えなかった。宛先の正しい不正メールが激増したとはいっても、ほとんどはエンドユーザーコンピュータからの送信の増加だったために、その阻止率は全体の阻止率に近い値になり、すり抜けは増えなかったと考えられる。