الروبوتات تقرأ الصفحات أيضًا

جمهور أي موقع متاح للعامة لا يقتصر أبدًا على البشر. فجزء كبير وطبيعي تمامًا من حركة المرور على الإنترنت يتكون من برامج آلية، تُعرف عمومًا بالروبوتات أو الزواحف.

وتشغّل هذه البرامجَ محركاتُ البحث ومشاريعُ الأرشفة والمؤسساتُ الأكاديمية لفهرسة محتويات الويب بشكل منهجي. وهي تجوب الإنترنت متتبعةً الروابط من مستند إلى آخر، فتقرأ النصوص وتصنّف البنى.

وبما أنها تحلل الشيفرة المصدرية للصفحة، فإنها تصادف حتمًا الإشارات المضمّنة إلى العناصر الخارجية، ومنها الوسوم المستخدمة لأدوات القياس الظاهرة. وطريقة التعامل مع هؤلاء الزوار الآليين تؤثر تأثيرًا عميقًا في دقة الإحصائيات الناتجة.

المرشّح الذي كان يعمل من تلقاء نفسه

تاريخيًا، صُمّمت البرامج الآلية لتكون بأقصى ما يمكن من السرعة والخفة. فكانت تنزّل النص الخام للصفحة فقط، وتتجاهل تمامًا أي إشارات إلى الصور أو ملفات التنسيق أو النصوص البرمجية المعقدة.

وفي ظل تلك الظروف القديمة، كان العدّ القائم على الصورة يستبعد بطبيعته الغالبية العظمى من الحركة غير البشرية. فبما أن الروبوت لم يكن يكلّف نفسه طلب ملف الرسم، لم يكن الخادم يسجّل أي مشاهدة.

وكانت الأرقام النهائية تعكس فقط متصفحات أناس حقيقيين احتاجوا فعلًا إلى المكونات المرئية لقراءة الصفحة. وكانت آلية الترشيح الكامنة هذه من أبرز مزايا استخدام رسم بسيط للقياس، إذ لم تكن تتطلب أي صيانة تقريبًا.

حين بدأ الزاحف ينظر إلى الصور

غير أن سلوك الأنظمة الآلية تطور تطورًا كبيرًا. فمحركات البحث الحديثة تحتاج إلى أن تفهم بدقة كيف تبدو الصفحة لتقييم سهولة استخدامها، لا سيما على الأجهزة المحمولة.

ولتحقيق ذلك، باتت زواحفها تنزّل كل الرسومات وملفات التنسيق المرتبطة بالصفحة لتكوين لقطة مرئية كاملة لها.

وبالتالي فإن هذه البرامج المتطورة تطلب فعلًا رسم القياس، فتُطلق آلية العدّ تمامًا كما يفعل الزائر البشري. ولو تُرك هذا السلوك دون ضبط، لتضخمت الأرقام المسجلة بشكل مصطنع، ولبدا موقع رعية كنسية هادئ رائجًا على نحو مذهل لمجرد أن محرك بحث قرر إعادة فهرسة أرشيفه.

القائمة التي يقارن بها الخادم

ولمواجهة هذا التضخم، يجب على الخادم الذي يقدّم الرسم أن يحلل الطلبات الواردة بفاعلية. فالبرامج الآلية تعرّف نفسها عادةً بوضوح في البيانات القياسية التي ترسلها، مستخدمةً أسماء محددة.

ونظام العدّ الذي يحظى بصيانة جيدة يقارن سلسلة التعريف الذاتي هذه بقائمة واسعة ومحدّثة باستمرار من توقيعات البرامج الآلية المعروفة.

فإذا وُجد تطابق، يسلّم الخادم الرسم رغم ذلك كي يتمكن الزاحف من إكمال لقطته، لكنه يستبعد الطلب بصمت من الحصيلة الفعلية. ويضمن هذا الفصل أن يعكس العرض العام اهتمامًا بشريًا حقيقيًا لا النشاط الدؤوب لبرامج الفهرسة.

النسبة التي تفلت دائمًا

ورغم جهود الترشيح هذه، لا يكون الفصل مثاليًا تمامًا أبدًا. فأدوات آلية جديدة تُبتكر كل يوم، وبعضها يتنكر عمدًا ليبدو كمتصفحات حواسيب مكتبية عادية.

ويتطلب كشف هذه البرامج المتنكرة تحليل أنماط أوسع، مثل عنوان إنترنت يطلب آلاف الصفحات في غضون ثوانٍ قليلة.

ومع أن التمييز الدقيق الخالي من الأخطاء بين الإنسان وبرنامج بارع جدًا مستحيل تقنيًا، فإن قائمة ترشيح متينة تزيل الغالبية العظمى من الضوضاء. والإقرار بأن نسبة صغيرة من الرقم النهائي قد تعود دائمًا إلى أنظمة آلية لم يُتعرَّف عليها جزءٌ ضروري من تفسير إحصائيات الإنترنت، بما يضمن فهمًا واقعيًا لمدى الانتشار الفعلي.