카운터는 로봇을 세고 있었습니다

여기 카운터들은 로봇을 세고 있었습니다. 예외 없이 전부입니다. 이번 달 전까지 여기서는 얼마나 되는지 아무도 말할 수 없었습니다. 아무것도 그것을 재고 있지 않았기 때문입니다. 그리고 카운터 그림을 요청하는 크롤러는 카운터 그림을 요청하는 사람과 똑같아 보입니다.

이제 잽니다. 수치는 예상보다 나쁩니다.

첫 며칠이 보여 주는 것

계수는 8월 9일에 시작했습니다. 이 사이트의 모든 카운터를 통틀어, 사람이 아닌 크롤러에서 온 조회의 비율은 이렇습니다:

• 8월 9일 — 16,070건 가운데 1,193건, 약 7%
• 8월 10일 — 20,181건 가운데 1,624건
• 8월 11일 — 20,918건 가운데 1,954건
• 8월 12일 — 22,740건 가운데 2,707건, 약 12%

그러니까 7퍼센트에서 12퍼센트 사이입니다. 나흘은 추세가 아니고 추세로 내놓지도 않겠습니다. 그 변동은 크롤러 때문일 수도 있고, 서명 목록이 늘면서 탐지가 더 많이 잡아낸 것일 수도 있습니다.

정말로 눈에 띄는 숫자

평균은 흥미로운 대목을 감춥니다. 카운터를 하나하나 날마다 들여다보면, 잰 카운터-일이 2,412일이었고 그 가운데 631일은 센 조회의 다수가 봇이었습니다.

다시 말해 카운터-일의 약 4분의 1에서 "방문자"의 대부분은 방문자가 아니었습니다. 조용한 사이트를 안에서 보면 그런 모습입니다. 진짜 사람 몇, 그리고 결코 멈추지 않고 자지 않고 아무것도 읽지 않는 크롤러의 꾸준한 순찰.

작은 사이트에서 도무지 읽는 사람이 있을 수 없는 시간에 슬금슬금 오르는 숫자에는 이제 설명이 붙었고, 그것은 통계 페이지에 봇 (30일)로 적혀 있습니다.

어떻게 알아보는가

클라이언트가 스스로 밝히는 이름으로 알아봅니다. Baiduspider, Googlebot, Amazonbot, AhrefsBot, 여러 가동 상태 감시 도구, 그리고 감추지 않는 평범한 도구들: curl, wget, python-requests, Scrapy. 이름을 전혀 대지 않는 요청도 봇으로 다룹니다. 브라우저는 언제나 이름을 대기 때문입니다.

목록은 일부러 짧게 두었습니다. 뜻이 분명한 서명만 잡으므로, 예의 바른 크롤러는 걸리고 크롬인 척 거짓말하는 크롤러는 걸리지 않습니다. 그 방향이 옳습니다. 봇을 사람으로 세는 것은 작은 오차이고, 사람을 봇으로 버리는 것은 결코 되찾을 수 없는 데이터입니다.

아직 내리지 않은 결정

여기가 정직한 대목입니다. 봇은 여전히 합계에 들어갑니다. 따로 보여 주기는 하지만, 카운터에 걸린 큰 숫자에는 아직 포함되어 있습니다.

빼는 것은 설정 하나이고, 일부러 꺼 두었습니다. 켜면 이 사이트 모든 카운터의 보이는 숫자가 하룻밤 사이에 10분의 1쯤 줄어듭니다. 아무에게도 묻지 않은 채로 말입니다. 2007년부터 돌아가며 누군가의 페이지에서 작은 자랑거리가 된 카운터에서 총계의 한 덩이를 조용히 빼는 것은 중립적인 기술적 정정이 아닙니다.

그래서 숫자를 먼저 보여 줍니다. 그저 알리는 데 그치지 말고 빼야 한다고 보신다면 알려 주십시오. 문의 양식은 이 사이트에 있고, 그 너머에는 진짜 사람이 있습니다.