Robotai irgi skaito puslapius

Bet kurios viešai prieinamos svetainės auditorija niekada nėra vien žmonės. Didelę ir visiškai įprastą interneto srauto dalį sudaro automatinės programos, paprastai vadinamos robotais ar paieškos robotais.

Šiuos scenarijus valdo paieškos sistemos, archyvavimo projektai ir akademinės institucijos, kad sistemingai indeksuotų žiniatinklio turinį. Jie pereina internetą sekdami nuorodas iš vieno dokumento į kitą, skaitydami tekstą ir kataloguodami struktūras.

Kadangi jie analizuoja puslapio kodą, neišvengiamai randa įterptas nuorodas į išorinius elementus, įskaitant matomų matavimo įrankių žymas. Tokių automatinių lankytojų tvarkymas smarkiai veikia gaunamos statistikos tikslumą.

Filtras, kuris kadaise veikė savaime

Istoriškai automatiniai scenarijai kurti kuo greitesni ir lengvesni. Jie atsisiųsdavo tik gryną puslapio tekstą ir visiškai ignoruodavo nuorodas į paveikslėlius, stilių failus ar sudėtingus scenarijus.

Tokiomis senesnėmis sąlygomis paveikslėlio skaitiklis natūraliai išfiltruodavo didžiąją daugumą ne žmonių srauto. Robotui net neprašius grafinio failo, serveris niekada neužregistruodavo peržiūros.

Galutiniai skaičiai atspindėdavo tik tikrų žmonių naršykles, kurioms iš tiesų reikėjo vaizdinių dalių puslapiui perskaityti. Šis natūralus filtravimas buvo vienas pagrindinių paprastos grafikos matavimo privalumų ir beveik nereikalavo priežiūros.

Kai paieškos robotas pradėjo žiūrėti paveikslėlius

Tačiau automatinių sistemų elgesys labai pasikeitė. Šiuolaikinėms paieškos sistemoms reikia tiksliai suprasti puslapio išvaizdą jo naudojamumui vertinti, ypač mobiliuosiuose įrenginiuose.

Todėl jų robotai dabar atsisiunčia visą susijusią grafiką ir stilių failus, kad atvaizduotų visą vaizdinę puslapio kopiją.

Taigi šios pažangios programos iš tiesų prašo matavimo paveikslėlio ir suaktyvina skaičiavimą lygiai kaip žmogus. Nekontroliuojamas toks elgesys dirbtinai padidintų skaičius ir ramią parapijos svetainę paverstų neįtikėtinai populiaria vien todėl, kad paieškos sistema nusprendė perindeksuoti archyvus.

Sąrašas, pagal kurį serveris tikrina

Šiam išpūtimui stabdyti grafiką teikiantis serveris turi aktyviai analizuoti gaunamas užklausas. Automatinės programos paprastai aiškiai prisistato perduodamuose įprastuose duomenyse, naudodamos konkrečius vardus.

Gerai prižiūrima skaičiavimo sistema tikrina šią prisistatymo eilutę pagal išsamų, nuolat atnaujinamą žinomų automatinių požymių sąrašą.

Radęs atitikmenį, serveris vis tiek pateikia grafiką, kad robotas užbaigtų kopiją, bet tyliai pašalina užklausą iš tikrojo skaičiavimo. Šis atskyrimas užtikrina, kad viešas vaizdas atspindėtų tikrą žmonių susidomėjimą, o ne nepailstamą indeksavimo scenarijų veiklą.

Dalis, kuri visada praslysta

Nepaisant filtravimo, atskyrimas niekada nėra visiškai tobulas. Nauji automatiniai įrankiai kuriami kasdien, o kai kurie aktyviai maskuojasi kaip įprastos kompiuterių naršyklės.

Tokioms užsimaskavusioms programoms atpažinti reikia analizuoti platesnius dėsningumus, pavyzdžiui, interneto adresą, per kelias sekundes prašantį tūkstančių puslapių.

Nors tiksliai ir nepriekaištingai atskirti žmogų nuo labai gudraus scenarijaus techniškai neįmanoma, tvirtas filtravimo sąrašas pašalina didžiąją daugumą triukšmo. Pripažinti, kad maža galutinio skaičiaus dalis visada gali priklausyti neatpažintoms automatinėms sistemoms, būtina aiškinant interneto statistiką ir tikroviškai suprantant tikrą pasiekiamumą.