크롤러 하나가 봇 통행량의 대부분이었습니다

여기 카운터는 로봇을 자기 칸에 둡니다. 기록은 되지만 설정을 켜지 않는 한 배지의 숫자를 움직이지는 않습니다. 그 분리 덕분에 달리 묻기 껄끄러운 물음을 쉽게 던질 수 있습니다. 방문 카운터가 필요할 만큼 작은 페이지를 실제로 누가 크롤링하는가?

2026년 8월 27일에 읽은, 서비스의 모든 카운터에 걸친 열사흘 치 데이터: 로봇 조회 47,841건.

로봇	조회	카운터	카운터당 조회
Meta AI	36,670	151	243
Googlebot	3,272	148	22
Baiduspider	3,258	345	9
Bytespider	419	94	4
ClaudeBot	225	29	8
GPTBot	97	86	1

크롤러 하나가 이 서비스 로봇 통행량 전체의 76.6%입니다. 그리고 그것은 가장 넓게 도는 크롤러가 아닙니다 — Baiduspider가 두 배 넘는 카운터를 건드립니다. Meta AI는 적은 수를 깊이 팝니다.

날마다 어떻게 보이는가

서서히 오지 않았습니다. 8월 14일에 148건, 이튿날 613건, 그다음 16일에 8,311건, 그 뒤로 날마다 몇천 건씩 카운터 쉰에서 여든 개에 퍼져 있습니다.

한 카운터의 하루 최고치는 이 크롤러 하나에서 온 2,488건이었습니다.

그 숫자가 작은 사이트에 왜 중요한가

받는 쪽에서 보십시오. 어떤 페이지가 보통 하루에 몇 건의 방문을 받습니다. 어느 아침 이천오백 건을 보여 줍니다. 로봇이 다른 모두와 함께 세어졌다면 무슨 일이 일어났다는 것이 합리적인 결론일 것입니다 — 어딘가의 링크, 언급, 독자. 아무 일도 없었습니다. 크롤러가 그 사이트를 2,488번 훑었을 뿐입니다.

그것이 로봇을 걸러 내거나 섞어 넣지 않고 따로 칸에 두는 논거 전부입니다. 섞어 넣으면 헛된 흥분을 만듭니다. 아예 걸러 내면 "저게 진짜였나?"라는 물음에 아무 답도 없습니다. 따로 두면 물음에 답이 있고, 한 번 보면 됩니다.

우리가 설명할 수 없는 부분

이 크롤러가 왜 이렇게 몰려 있는지는 여기서 보이지 않습니다. 어느 플랫폼의 링크 구조를 따르는 것일 수도, 어느 사이트맵일 수도, 아니면 그 카운터들이 마침 그것이 지금 관심을 두는 종류의 페이지에 있는 것일 수도 있습니다. 무엇을 했는지는 볼 수 있고, 무엇을 원했는지는 볼 수 없습니다.

분명히 말해 둘 것도 있습니다. 이것은 열사흘입니다. 로봇 표가 8월 14일에야 시작하기 때문입니다. 어린 표이고 지난달을 모릅니다. 거기서 비율을 읽어 마치 한 해를 설명하는 양 쓰는 것은, 이 서비스가 늘 글로 쓰는 바로 그 잘못일 것입니다.