हमारा ज़्यादातर बॉट ट्रैफ़िक एक ही क्रॉलर से आया

यहाँ के काउंटर रोबोटों को एक अलग कॉलम में रखते हैं। वे दर्ज होते हैं, लेकिन जब तक सेटिंग चालू न हो, बैज पर दिखने वाली संख्या नहीं बदलते। इस अलगाव से एक ऐसा सवाल पूछना आसान हो जाता है, जो वरना अटपटा होता: इतने छोटे पेज को, जिसे विज़िटर काउंटर की ज़रूरत हो, असल में कौन क्रॉल करता है?

सेवा के सभी काउंटरों पर तेरह दिनों का डेटा, 27 अगस्त 2026 को पढ़ा गया: कुल 47,841 रोबोट हिट।

रोबोट	हिट	काउंटर	हिट प्रति काउंटर
Meta AI	36,670	151	243
Googlebot	3,272	148	22
Baiduspider	3,258	345	9
Bytespider	419	94	4
ClaudeBot	225	29	8
GPTBot	97	86	1

इस सेवा के पूरे रोबोट ट्रैफ़िक का 76.6% हिस्सा एक ही क्रॉलर से आता है। और यह वह क्रॉलर नहीं है जिसकी पहुँच सबसे ज़्यादा है — Baiduspider दोगुने से भी ज़्यादा काउंटरों तक पहुँचता है। Meta AI कम काउंटरों पर जाता है, पर गहराई तक।

रोज़-ब-रोज़ यह कैसा दिखता है

यह धीरे-धीरे नहीं आया। 14 अगस्त को 148 हिट, अगले दिन 613, फिर 16 तारीख को 8,311 हिट, और तब से हर दिन कुछ हज़ार, जो पचास से अस्सी काउंटरों पर फैले रहे।

एक ही दिन में एक ही काउंटर पर सबसे ज़्यादा 2,488 हिट आए, और सब इसी एक क्रॉलर से।

एक छोटी वेबसाइट के लिए यह संख्या क्यों मायने रखती है

दूसरी तरफ़ की स्थिति सोचें। किसी पेज पर आम तौर पर दिन में गिनी-चुनी विज़िट आती हैं। एक सुबह वह ढाई हज़ार दिखाता है। अगर रोबोट बाकी सबके साथ गिने जाते, तो समझदारी भरा निष्कर्ष यही होता कि कुछ हुआ है — कहीं कोई लिंक, कोई ज़िक्र, नए पाठक। कुछ नहीं हुआ था। एक क्रॉलर उस वेबसाइट पर 2,488 बार घूम गया था।

रोबोटों को छानकर बाहर करने या बाकी में मिलाने के बजाय एक अलग कॉलम में रखने का पूरा तर्क यही है। मिला देने पर वे झूठा उत्साह पैदा करते हैं। पूरी तरह छाँट देने पर “क्या यह असली था?” सवाल का कोई जवाब ही नहीं रहता। अलग रखने पर इस सवाल का जवाब होता है, और उसके लिए एक नज़र काफ़ी है।

वह हिस्सा जिसे हम समझा नहीं सकते

यह क्रॉलर इतना केंद्रित क्यों है, यह यहाँ से दिखाई नहीं देता। हो सकता है वह किसी एक प्लेटफ़ॉर्म की लिंक संरचना का पीछा कर रहा हो, या किसी एक साइटमैप का, या काउंटर बस ऐसे पेजों पर लगे हों, जिनमें उसकी अभी दिलचस्पी है। हम देख सकते हैं कि उसने क्या किया, यह नहीं कि वह क्या चाहता था।

यह भी साफ़ कह देना ज़रूरी है: यह तेरह दिनों का डेटा है, क्योंकि रोबोट टेबल 14 अगस्त से ही शुरू होती है। यह नई टेबल है, और इसे पिछले महीने का कुछ पता नहीं। इससे कोई हिस्सा पढ़कर ऐसे मानना, मानो वह पूरे साल का हाल बताता हो, ठीक वही गलती होगी जिसके बारे में यह सेवा बार-बार लिखती रहती है।