Dvanaest URL-ova za jedan članak

Svaka objava na ovom blogu živi na dvanaest adresa. Jedanaest nosi jezični prefiks — /en/blog/…, /de/blog/… i još devet — a dvanaesta uopće nema prefiks. Ona čita zaglavlje Accept-Language preglednika i odgovara na onom od jedanaest jezika koji prepozna.

Tijekom 27. i 28. kolovoza web-roboti dohvatili su 1.609 stranica bloga s ovog web-mjesta. Čitatelji su dohvatili 628.

Što stranice već govore jedna drugoj

Svih dvanaest u zaglavlju govori iste tri stvari, a danas sam provjerio sve tri umjesto povjerenja u kod.

Kanonska poveznica svake stranice upućuje na nju samu. Jedanaest redaka hreflang navodi srodne jezične verzije, a dvanaesti adresu bez prefiksa kao x-default, jer ta adresa ne pripada nijednom pojedinom jeziku. Adresa bez prefiksa odgovara sa Vary: Accept-Language, Accept-Encoding, pa sve što predmemorira ispred nje zna da tijelo ovisi o zaglavlju zahtjeva.

Pregovaranje radi. Traženje istog URL-a uz Accept-Language: de vraća stranicu označenu s lang="de", uz ja japansku, a uz kod koji nitko ne koristi englesku. Dvanaest zahtjeva koji su se izmjenjivali između četiriju jezika vratilo je četiri ispravna tijela po tri puta, pa predmemorija stranica ima jezik u ključu, a ne samo putanju.

To specifikacija traži: potpunu, uzajamnu skupinu u kojoj svaki član navodi sebe i sve srodne članove. Takav raspored omogućuje tražilici da dvanaest adresa tumači kao jedan članak na dvanaest jezika umjesto dvanaest međusobno konkurentnih članaka.

Ne smanjuje dohvaćanje

Također ne smanjuje dohvaćanje i pristupni zapisnik to govori bez mnogo prostora za tumačenje.

ClaudeBot napravio je 396 zahtjeva za blog kroz 36 objava — točno 11,0 jezičnih verzija svake, svaki jezik, svaki put. bingbot imao je prosjek 8,7 kroz 37 objava, PetalBot 6,0, Applebot 4,3. SemrushBot dosegnuo je 1,8. Googlebot napravio je 72 zahtjeva kroz 42 objave, prosječno 1,5 jezičnih verzija po objavi, i jedini je od šest koji se ponaša kao da je oznaka do njega doprla.

Svi web-roboti zajedno dohvatili su 73 od 76 objava barem jednom, a 68 od njih na više od jednog jezika. Prosjek je bio 7,84 jezične verzije po objavi od jedanaest.

Ništa od ovoga nije kršenje. hreflang naznaka je o odnosu stranica, upućena dijelu tražilice koji odlučuje koji rezultat prikazati. Nije uputa dijelu koji odlučuje što preuzeti. Web-robot koji nikada nije vidio /uk/blog/… ne može znati da je to prijevod dok ga ne dohvati i pročita zaglavlje — oznaka može djelovati tek nakon zahtjeva koji je možda mogla uštedjeti.

Koliko to košta

Manje nego što gornji odlomak sugerira. Dodajte pregled i stranice oznaka bloga uz 1.609 stranica objava i dobiva se 1.689 zahtjeva web-robota pod /blog: 0,5 posto od 373.019 zahtjeva na koje je ovaj virtualni poslužitelj odgovorio u dva dana i 19,9 MB od 4.363 MB koje je poslao. Stranica bloga vraća se za otprilike desetinku sekunde, pa cijelo jedanaesterostruko dohvaćanje košta otprilike osamdeset sekundi procesorskog vremena dnevno.

Karta web-mjesta košta malo više nego što sam očekivao. Navodi 3.136 adresa s 13.248 oznaka drugih jezika: 1,85 MB XML-a, 35 KB nakon kompresije. Ponovno se gradi najviše jednom u šest sati, zbog čega se objava objavljena u jedan i deset poslijepodne u njoj potpuno pojavi nekoliko sati kasnije, a ne odmah.

Ništa u tim brojkama nije vrijedno promjene. Jedino što bi smanjilo dohvaćanje bilo bi da nema adresa, a adrese su smisao.

Čitatelji i web-roboti žele različite stvari

Ista dva dana, podijeljena po jezicima, pokazuju dvije posve različite navike.

Web-roboti raspoređeni su gotovo ravnomjerno: između 5,5 i 10,5 posto njihovih zahtjeva za blog išlo je svakoj od jedanaest verzija s prefiksom, a još 16 posto onoj bez prefiksa. Tako izgleda nešto što obilazi popis.

Čitatelji nisu raspoređeni ravnomjerno. 38 posto njihovih zahtjeva išlo je adresi bez prefiksa, a još 18 posto na /en/, pa je više od polovice stiglo na engleski ili pregovaranjem. Ostatak se dijeli na deset jezika, najveći njemački sa 7 posto, najmanji francuski s 2 posto.

Tih preostalih 44 posto cijeli je razlog postojanja jezičnih putanja. Ujedno je dovoljno malo da bi se jezične putanje lako mogle otpisati — što je ista pogreška kao čitati stupac web-robota i zaključiti da su stranice popularne.

Što vrijedi općenito

Točna naznaka nije naredba. Sve u zaglavlju ovih stranica ispravno je, uzajamno i provjerljivo, a pet od šest web-robota dohvaća kao da ničega od toga nema. Specifikacija opisuje što oznaka znači, a ne što će neki određeni program učiniti kada je vidi.

Zato korisno pitanje nikada nije bilo je li označni kod ispravan. Nego koliko puta svaki alat za dohvat stvarno dolazi, a na to može odgovoriti samo zapisnik — i nakon odgovora iskren je zaključak da jedanaesterostruko dohvaćanje košta pola posto i da ga treba ostaviti na miru.