Dvanaest adresa za jedan članak

Svaki članak na ovom blogu nalazi se na dvanaest adresa. Jedanaest nosi jezički prefiks — /en/blog/…, /de/blog/… i još devet — a dvanaesta uopšte nema prefiks. Ona čita zaglavlje Accept-Language pregledača i odgovara na onom od jedanaest jezika koji prepozna.

Tokom 27. i 28. avgusta, roboti za indeksiranje preuzeli su sa ovog sajta 1.609 stranica bloga. Čitaoci su preuzeli 628.

Šta stranice već jedna drugoj govore

Svih dvanaest u zaglavlju kaže ista tri podatka, a ja sam proverio sva tri danas, umesto da verujem kodu.

Kanonski link na svakoj stranici pokazuje na nju samu. Jedanaest hreflang redova navodi srodne jezičke verzije, a dvanaesti navodi adresu bez prefiksa kao x-default, jer ta adresa ne pripada nijednom jeziku. Adresa bez prefiksa odgovara sa Vary: Accept-Language, Accept-Encoding, pa svaki keš ispred nje zna da telo odgovora zavisi od zaglavlja zahteva.

Pregovaranje funkcioniše. Traženje iste adrese sa Accept-Language: de vraća stranicu označenu kao lang="de", sa ja dobija se japanska stranica, a sa šifrom koju niko ne koristi engleska. Dvanaest zahteva naizmenično na četiri jezika vratilo je tri puta zaredom četiri tačna odgovora, pa je keš stranica vezan za jezik, a ne samo za putanju.

Ovo je ono što specifikacija traži: potpuna, uzajamna grupa u kojoj svaki član navodi sebe i sve svoje srodnike. To je uređenje koje omogućava pretraživaču da dvanaest adresa tretira kao jedan članak na dvanaest jezika, umesto kao dvanaest članaka koji se takmiče jedni sa drugima.

Zbog toga niko ne preuzima manje

Takođe ne smanjuje preuzimanje, a pristupni dnevnik to kaže bez mnogo prostora za tumačenje.

ClaudeBot je uputio 396 zahteva ka blogu na 36 objava — tačno 11,0 jezičkih verzija po objavi, svaki jezik, svaki put. bingbot je u proseku imao 8,7 na 37 objava, PetalBot 6,0, Applebot 4,3. SemrushBot je uspeo 1,8. Googlebot je uputio 72 zahteva na 42 objave, u proseku 1,5 jezičkih verzija po objavi, i jedini je od šestorice koji se ponaša kao da je do njega oznaka stigla.

Među svim robotima, 73 od 76 objava dotaknuto je bar jednom, a 68 njih na više od jednog jezika. Prosek je bio 7,84 jezičke verzije po objavi od jedanaest.

Ništa od ovoga nije prekršaj. hreflang je nagoveštaj o tome kako su stranice povezane, upućen delu pretraživača koji odlučuje koji rezultat da prikaže. Nije uputstvo delu koji odlučuje šta će preuzeti. Robot koji nikad nije video /uk/blog/… ne može da zna da je reč o prevodu dok ga ne preuzme i ne pročita zaglavlje — oznaka može da deluje tek posle zahteva koji je mogla da uštedi.

Šta to košta

Manje nego što gornji pasus sugeriše. Ako se stranicama objava od 1.609 dodaju pregled bloga i stranice oznaka, roboti su poslali 1.689 zahteva ka /blog: 0,5% od 373.019 zahteva na koje je ovaj virtuelni host odgovorio za dva dana, i 19,9 MB od 4.363 MB koje je poslao. Stranica bloga se vraća za oko desetinu sekunde, pa celo jedanaestostruko preuzimanje košta oko osamdeset sekundi procesorskog vremena dnevno.

Mapa sajta košta nešto više nego što sam očekivao. Navodi 3.136 adresa sa 13.248 oznaka alternativnih jezika: 1,85 MB XML-a, 35 KB kad se kompresuje. Gradi se ponovo najviše na svakih šest sati, zbog čega se objava objavljena u 13:10 u njoj pojavljuje potpuna nekoliko sati kasnije, a ne odmah.

Ništa u ovim brojevima nije vredno menjanja. Jedina poluga koja bi smanjila preuzimanje bila bi to da adrese ne postoje, a adrese su suština.

Čitaoci i roboti žele različite stvari

Ista dva dana, podeljena po jezicima, pokazuju dve prilično različite navike.

Roboti se raspoređuju gotovo ravnomerno: između 5,5 i 10,5% njihovih zahteva ka blogu otišlo je na svaku od jedanaest verzija sa prefiksom, plus 16% na onu bez prefiksa. To je oblik nečega što prolazi kroz spisak.

Čitaoci se ne raspoređuju ravnomerno. 38% njihovih zahteva otišlo je na adresu bez prefiksa, a još 18% na /en/, pa je više od polovine stiglo ili na engleskom ili pregovaranjem. Ostatak se deli na deset jezika, najveći je nemački sa 7%, najmanji francuski sa 2%.

Tih preostalih 44% jedini je razlog zašto jezičke putanje postoje. Ujedno je dovoljno malo da bi se jezičke putanje lako mogle odbaciti — što je ista greška kao čitati kolonu robota i zaključiti da su stranice popularne.

Šta se može uopštiti

Tačan nagoveštaj nije uputstvo. Sve u zaglavlju ovih stranica je tačno, uzajamno i proverljivo, a pet od šest robota preuzima kao da ničega od toga nema. Specifikacija opisuje šta oznaka znači, a ne šta će bilo koji konkretan program uraditi kad je vidi.

Zato korisno pitanje nikad nije bilo da li je oznaka ispravna. Bilo je koliko puta svaki preuzimač zaista dolazi, a na to pitanje može da odgovori samo dnevnik — i pošto je odgovoreno, iskren zaključak je da jedanaestostruko preuzimanje košta pola procenta i da ga treba ostaviti na miru.