Edhe robotët lexojnë faqe

Audienca e çdo uebsajti të arritshëm publikisht nuk është kurrë vetëm njerëzore. Një pjesë e konsiderueshme dhe krejt normale e trafikut të internetit përbëhet nga programe automatike, të njohura përgjithësisht si botë ose robotë indeksues.

Këto skripte drejtohen nga motorë kërkimi, projekte arkivimi dhe institucione akademike për të indeksuar sistematikisht përmbajtjen e uebit. Ato përshkojnë internetin duke ndjekur lidhje nga një dokument te tjetri, duke lexuar tekst dhe duke kataloguar struktura.

Meqë analizojnë kodin burimor të një faqeje, ato hasin pashmangshëm referencat e integruara te elementet e jashtme, përfshirë etiketat e përdorura për mjetet e dukshme matëse. Mënyra si trajtohen këta vizitorë automatikë ndikon thellësisht në saktësinë e statistikave që rezultojnë.

Filtri që dikur punonte vetë

Historikisht, skriptet automatike projektoheshin të ishin sa më të shpejta e të lehta. Ato shkarkonin vetëm tekstin e papërpunuar të një faqeje dhe shpërfillnin plotësisht çdo referencë te figurat, skedarët e stileve ose skriptet komplekse.

Në këto kushte më të vjetra, një numërues me figurë filtronte natyrshëm shumicën dërrmuese të trafikut jonjerëzor. Meqë roboti nuk merrte kurrë mundimin të kërkonte skedarin grafik, serveri nuk regjistronte kurrë një shikim.

Numrat përfundimtarë pasqyronin vetëm shfletuesit e njerëzve realë, të cilëve u duheshin vërtet përbërësit pamorë për të lexuar faqen. Ky mekanizëm i qenësishëm filtrimi ishte një nga përparësitë kryesore të përdorimit të një figure të thjeshtë për matje dhe thuajse nuk kërkonte mirëmbajtje.

Kur roboti indeksues filloi të shihte figurat

Megjithatë, sjellja e sistemeve automatike ka ndryshuar ndjeshëm. Motorët modernë të kërkimit duhet të kuptojnë saktësisht si duket një faqe për të vlerësuar përdorshmërinë e saj, veçanërisht në pajisjet celulare.

Për ta arritur këtë, robotët e tyre indeksues tani shkarkojnë të gjitha figurat dhe skedarët e stileve të lidhur për të vizatuar një pamje të plotë të çastit të faqes.

Rrjedhimisht, këto programe të sofistikuara e kërkojnë vërtet figurën matëse, duke e aktivizuar mekanizmin e numërimit pikërisht siç do ta bënte një vizitor njerëzor. Po të lihej pa kontroll, kjo sjellje do t'i frynte artificialisht numrat e regjistruar, duke e bërë një uebsajt të qetë famullie të dukej jashtëzakonisht popullor vetëm sepse një motor kërkimi vendosi të riindeksonte arkivat e tij.

Lista kundrejt së cilës kontrollon serveri

Për ta kundërshtuar këtë fryrje, serveri që ofron figurën duhet t'i analizojë aktivisht kërkesat hyrëse. Programet automatike zakonisht identifikohen qartë në të dhënat standarde që transmetojnë, duke përdorur emra të caktuar.

Një sistem numërimi i mirëmbajtur siç duhet e kontrollon këtë varg vetidentifikimi kundrejt një liste të gjerë shenjash të njohura automatike, të përditësuar vazhdimisht.

Nëse gjendet një përputhje, serveri përsëri e dërgon figurën që roboti indeksues të mund të përfundojë pamjen e vet të çastit, por e heq në heshtje kërkesën nga numërimi real. Kjo ndarje siguron që shfaqja publike të pasqyrojë interes të vërtetë njerëzor dhe jo veprimtarinë e palodhur të skripteve të indeksimit.

Pjesa që shpëton gjithmonë

Pavarësisht këtyre përpjekjeve për filtrim, ndarja nuk është kurrë absolutisht e përsosur. Mjete të reja automatike krijohen çdo ditë dhe disa maskohen aktivisht për t'u dukur si shfletues të zakonshëm kompjuteri.

Identifikimi i këtyre programeve të maskuara kërkon analizimin e modeleve më të gjera, si një adresë interneti që kërkon mijëra faqe brenda disa sekondash.

Ndonëse një dallim i saktë e pa të meta mes një njeriu dhe një skripti shumë të zgjuar është teknikisht i pamundur, një listë e fortë filtrimi heq shumicën dërrmuese të zhurmës. Pranimi se një përqindje e vogël e numrit përfundimtar mund t'u përkasë gjithmonë sistemeve automatike të panjohura është një pjesë e nevojshme e interpretimit të statistikave të internetit, duke siguruar një kuptim realist të shtrirjes reale.