Robotid loevad ka lehti

Ühegi avalikult ligipääsetava veebisaidi vaatajaskond ei koosne kunagi ainult inimestest. Märkimisväärne ja täiesti tavaline osa interneti liiklusest koosneb automatiseeritud programmidest, mida üldiselt nimetatakse robotiteks või ussrobotiteks.

Neid skripte käitavad otsingumootorid, arhiveerimisprojektid ja akadeemilised asutused, et veebi sisu süstemaatiliselt indekseerida. Nad liiguvad internetis, järgides linke ühelt dokumendilt teisele, lugedes teksti ja kataloogides struktuure.

Kuna nad analüüsivad lehe lähtekoodi, kohtavad nad paratamatult viiteid välistele elementidele, sealhulgas nähtavate mõõtmisvahendite silte. See, kuidas neid automatiseeritud külastajaid käsitletakse, mõjutab oluliselt saadava statistika täpsust.

Filter, mis varem töötas iseenesest

Ajalooliselt loodi automatiseeritud skriptid võimalikult kiireteks ja kergeteks. Nad laadisid alla ainult lehe toortekst ja ignoreerisid täielikult viiteid piltidele, stiilifailidele või keerukatele skriptidele.

Nendes vanemates tingimustes filtreeris pildipõhine loendur loomulikult välja valdava enamiku mitteinimlikust liiklusest. Kuna robot ei vaevunud graafikafaili küsima, ei registreerinud server kunagi vaatamist.

Lõplikud numbrid kajastasid ainult päris inimeste brausereid, kes tegelikult vajasid lehe lugemiseks visuaalseid komponente. See sisemine filtreerimismehhanism oli üks lihtsa graafika kasutamise suuri eeliseid mõõtmiseks, nõudes praktiliselt nulli hooldust.

Kui ussrobot hakkas pilte vaatama

Automatiseeritud süsteemide käitumine on aga oluliselt arenenud. Tänapäevased otsingumootorid peavad täpselt mõistma, kuidas leht välja näeb, et hinnata selle kasutatavust, eriti mobiilseadmetes.

Selleks laadivad nende ussrobotid nüüd alla kõik seotud graafika- ja stiilifailid, et luua lehest täielik visuaalne hetktõmmis.

Seetõttu küsivad need keerukad programmid ka mõõtmisgraafikat, käivitades loendusmehhanismi täpselt nagu inimkülastaja. Kontrollimata jätmisel suurendaks see käitumine salvestatud numbreid kunstlikult, pannes vaikse kihelkonna veebisaidi näima metsikult populaarsena vaid seetõttu, et otsingumootor otsustas selle arhiivi uuesti indekseerida.

Loend, millega server võrdleb

Selle paisutuse vastu peab graafikat pakkuv server saabuvaid päringuid aktiivselt analüüsima. Automatiseeritud programmid tutvustavad end tavaliselt oma edastatavates standardandmetes selgelt, kasutades kindlaid nimesid.

Hästi hooldatud loendussüsteem kontrollib seda enesetutvustuse rida ulatusliku, pidevalt uuendatava tuntud automaatsignatuuride loendi vastu.

Kui vaste leitakse, annab server graafika siiski kätte, et ussrobot saaks hetktõmmise lõpule viia, kuid jätab päringu vaikselt tegelikust arvust välja. See eraldamine tagab, et avalik näit kajastab tõelist inimhuvi, mitte indekseerimisskriptide väsimatut tegevust.

Osa, mis alati läbi lipsab

Nendest filtreerimispüüdlustest hoolimata ei ole eraldamine kunagi täiesti täiuslik. Iga päev tekib uusi automaatseid vahendeid ja mõned maskeerivad end aktiivselt tavalisteks töölaua brauseriteks.

Nende maskeeritud programmide tuvastamine nõuab laiemate mustrite analüüsi, näiteks internetiaadress, mis küsib mõne sekundi jooksul tuhandeid lehti.

Kuigi täpne ja veatu vahetegemine inimese ja väga nutika skripti vahel on tehniliselt võimatu, eemaldab tugev filtreerimisloend valdava enamiku müra. Tõdemus, et väike protsent lõplikust numbrist võib alati kuuluda tuvastamata automaatsüsteemidele, on interneti statistika tõlgendamise vajalik osa ja tagab tegeliku haarde realistliku mõistmise.