カウンターはロボットも数えていた

ここのカウンターは、ロボットも数えていた。どのカウンターも同様だ。今月までは、それが何件あるのか当サイトの誰にも答えられなかった。計測する仕組みがなかったからだ——そしてカウンター画像をリクエストするクローラーは、カウンター画像をリクエストする人間とまったく同じに見える。

今ではそれが計測されている。数字は予想より悪いものだった。

最初の数日間でわかったこと

計測は8月9日に始まった。当サイトの全カウンターにおける、人間ではなくクローラーによるヒットの割合は次の通り。

8月9日——16,070件中1,193件、約7%
8月10日——20,181件中1,624件
8月11日——20,918件中1,954件
8月12日——22,740件中2,707件、約12%

つまり、おおよそ7%から12%の間ということになる。4日間では傾向とは言えず、傾向として提示するつもりもない——この変動はクローラー自体の増減かもしれないし、シグネチャのリストが増えるにつれて検出漏れが減っているだけかもしれない。

本当に驚くべき数字

平均値は興味深い部分を覆い隠してしまう。個々のカウンターを日ごとに見ていくと、計測対象は延べ2,412カウンター日で、そのうち631日では集計されたヒットの過半数がボットだった。

つまり、カウンター日のおよそ4分の1では、「訪問者」の大半が実は訪問者ではなかったということだ。これが、静かなサイトを内側から見たときの姿である。ひと握りの本物の人間と、止まることも眠ることも何も読むこともない、絶え間なく巡回し続けるクローラーたち。

小規模なサイトを運営していて、誰も読んでいるはずがないのにカウントがじわじわ増えていくのを不思議に思ったことがあるなら——それが答えだ。この数字は今、統計ページにBots (30 days)として表示されている。

どうやって識別しているか

クライアントが自ら名乗る名前によってである。Baiduspider、Googlebot、Amazonbot、AhrefsBot、各種の稼働監視ツール、そして特に偽装しない素朴なツール群——curl、wget、python-requests、Scrapy。名前をまったく名乗らないリクエストもボットとして扱われる。ブラウザは必ず名前を名乗るからだ。

このリストは意図的に短くしてある。判定するのは紛れのないシグネチャだけであり、つまり行儀の良いクローラーは捕捉されるが、Chromeを装って嘘をつくクローラーは捕捉されない。この向きが正しい。ボットを人間として数えてしまうのは小さな誤差だが、人間をボットとして除外してしまえば、そのデータは二度と取り戻せない。

まだ下されていない決定

ここからが正直な部分だ。ボットは今も合計値に含めてカウントされている。確認できるように別枠で表示はしているが、カウンターに表示される大きな数字には依然としてボットが含まれている。

ボットを除外することは設定一つで可能だが、意図的にオフにしてある。これをオンにすれば、当サイトのすべてのカウンターの表示数値が、誰にも確認を取らないまま一夜にして約1割減ることになる。2007年から動き続け、誰かのページでちょっとした誇りの種になっているカウンターにとって、合計値の一部を黙って差し引くことは、中立的な技術的修正とは言えない。

そのため、まずはこの数字を表示するにとどめている。単に報告するだけでなく差し引くべきだという意見があれば、それはぜひ聞きたい——サポートフォームは当サイトにあり、その先には実際に対応する人間がいる。