रोबोट भी पेज पढ़ते हैं

किसी भी सार्वजनिक वेबसाइट के पाठक कभी सिर्फ़ इंसान नहीं होते। इंटरनेट ट्रैफ़िक का एक बड़ा और पूरी तरह सामान्य हिस्सा स्वचालित प्रोग्रामों का होता है, जिन्हें आमतौर पर रोबोट या क्रॉलर कहा जाता है।

इन स्क्रिप्टों को सर्च इंजन, आर्काइव प्रोजेक्ट और शैक्षणिक संस्थान चलाते हैं, ताकि वेब की सामग्री को व्यवस्थित रूप से इंडेक्स किया जा सके। ये प्रोग्राम एक डॉक्यूमेंट से दूसरे तक लिंक के सहारे इंटरनेट पर घूमते हैं, टेक्स्ट पढ़ते हैं और ढाँचों की सूची बनाते हैं।

चूँकि वे पेज के सोर्स कोड का विश्लेषण करते हैं, इसलिए उनका सामना बाहरी तत्वों के एम्बेड किए गए संदर्भों से होना तय है, जिनमें दिखने वाले मापने के टूल के टैग भी शामिल हैं। इन स्वचालित विज़िटरों के साथ कैसा बर्ताव किया जाता है, इसका आँकड़ों की सटीकता पर गहरा असर पड़ता है।

वह फ़िल्टर जो कभी अपने-आप काम करता था

पहले स्वचालित स्क्रिप्ट जितनी हो सके उतनी तेज़ और हल्की बनाई जाती थीं। वे पेज का सिर्फ़ कच्चा टेक्स्ट डाउनलोड करती थीं और इमेज, स्टाइल फ़ाइलों या जटिल स्क्रिप्टों के हर संदर्भ को पूरी तरह अनदेखा कर देती थीं।

इन पुरानी परिस्थितियों में इमेज पर आधारित गिनती गैर-इंसानी ट्रैफ़िक के ज़्यादातर हिस्से को अपने-आप छाँट देती थी। चूँकि रोबोट ग्राफ़िक फ़ाइल माँगने की ज़हमत ही नहीं उठाता था, इसलिए सर्वर कोई हिट दर्ज नहीं करता था।

अंतिम संख्याओं में सिर्फ़ असली लोगों के ब्राउज़र झलकते थे, जिन्हें पेज पढ़ने के लिए सचमुच दृश्य हिस्सों की ज़रूरत थी। यह अंतर्निहित फ़िल्टर माप के लिए सादा ग्राफ़िक इस्तेमाल करने का एक बड़ा फ़ायदा था, और इसके रखरखाव में लगभग कोई मेहनत नहीं लगती थी।

जब क्रॉलर तस्वीरें देखने लगे

लेकिन स्वचालित सिस्टम का व्यवहार काफ़ी बदल गया है। आधुनिक सर्च इंजनों को ठीक-ठीक समझना होता है कि कोई पेज कैसा दिखता है, ताकि वे उसकी उपयोगिता आँक सकें, खासकर मोबाइल डिवाइस पर।

इसके लिए उनके क्रॉलर अब पेज की पूरी दृश्य तस्वीर बनाने के लिए उससे जुड़े सभी ग्राफ़िक्स और स्टाइल फ़ाइलें डाउनलोड करते हैं।

नतीजतन ये परिष्कृत प्रोग्राम मापने वाला ग्राफ़िक भी माँगते हैं और गिनती की प्रक्रिया ठीक वैसे ही चालू कर देते हैं, जैसे कोई इंसानी विज़िटर करता। अगर इस पर रोक न लगे, तो यह व्यवहार दर्ज संख्याओं को बनावटी रूप से बढ़ा देगा, और किसी शांत चर्च की वेबसाइट बेहद लोकप्रिय दिखने लगेगी, सिर्फ़ इसलिए कि किसी सर्च इंजन ने उसके आर्काइव को दोबारा इंडेक्स करने का फ़ैसला किया।

वह सूची जिससे सर्वर मिलान करता है

इस बढ़ोतरी को रोकने के लिए ग्राफ़िक देने वाले सर्वर को आने वाले अनुरोधों का सक्रिय रूप से विश्लेषण करना पड़ता है। स्वचालित प्रोग्राम आमतौर पर अपने भेजे मानक डेटा में खास नामों से अपनी साफ़ पहचान बताते हैं।

अच्छी तरह सँभाला गया गिनती का सिस्टम इस स्व-पहचान वाली स्ट्रिंग का मिलान जाने-पहचाने स्वचालित सिग्नेचर की एक विस्तृत और लगातार अपडेट होने वाली सूची से करता है।

मेल मिलने पर भी सर्वर ग्राफ़िक भेजता है, ताकि क्रॉलर अपनी तस्वीर पूरी कर सके, लेकिन वह उस अनुरोध को चुपचाप असली गिनती से बाहर कर देता है। इस अलगाव से सार्वजनिक डिस्प्ले में इंडेक्स करने वाली स्क्रिप्टों की अथक गतिविधि नहीं, बल्कि इंसानों की असली दिलचस्पी झलकती है।

वह हिस्सा जो हमेशा फ़िल्टर से निकल जाता है

फ़िल्टर करने की इन कोशिशों के बावजूद यह अलगाव कभी पूरी तरह सटीक नहीं होता। हर दिन नए स्वचालित टूल बनते हैं, और कुछ जानबूझकर भेस बदलकर सामान्य डेस्कटॉप ब्राउज़र जैसे दिखने की कोशिश करते हैं।

भेस बदले इन प्रोग्रामों को पहचानने के लिए बड़े पैटर्न देखने पड़ते हैं, जैसे कोई IP पता, जो कुछ ही सेकंड में हज़ारों पेज माँगता है।

हालाँकि इंसान और बहुत चालाक स्क्रिप्ट के बीच बिल्कुल सटीक, बेदाग फ़र्क करना तकनीकी रूप से असंभव है, फिर भी एक मज़बूत फ़िल्टर सूची ज़्यादातर शोर को हटा देती है। यह मानना कि अंतिम संख्या का एक छोटा प्रतिशत हमेशा बिना पहचाने स्वचालित सिस्टम का हो सकता है, इंटरनेट के आँकड़ों को समझने का एक ज़रूरी हिस्सा है, और इसी से असली पहुँच की यथार्थवादी समझ बनती है।