Дванадесет URL адреса за една статия

Всяка публикация в този блог живее на дванадесет адреса. Единадесет носят езиков префикс — /en/blog/…, /de/blog/… и още девет — а дванадесетият изобщо няма префикс. Той чете заглавката Accept-Language на браузъра и отговаря на онзи от единадесетте езика, който разпознае.

На 27 и 28 август роботите изтеглиха 1 609 страници от блога на този сайт. Читателите изтеглиха 628.

Какво страниците вече си казват една на друга

И дванадесетте казват едни и същи три неща в заглавната си част и днес проверих и трите, вместо да се доверя на кода.

Каноничната връзка на всяка страница сочи към самата нея. Единадесет реда hreflang назовават сродните езикови версии, а дванадесетият посочва адреса без префикс като x-default, защото този адрес не принадлежи на нито един отделен език. Адресът без префикс отговаря с Vary: Accept-Language, Accept-Encoding, така че всичко, което кешира пред него, знае, че тялото зависи от заглавка на заявката.

Договарянето работи. Заявка за същия URL с Accept-Language: de връща страница, отбелязана с lang="de", с ja пък японска, а с код, който никой не използва, английска. Дванадесет заявки, редуващи четири езика, върнаха четирите правилни тела по три пъти, така че кешът на страниците е с ключ по езика, а не само по пътя.

Точно това изисква спецификацията: пълна, взаимна група, в която всеки член назовава себе си и всички свои сродни версии. Това е подредбата, която позволява на търсачката да третира дванадесет адреса като една статия на дванадесет езика, а не като дванадесет статии, които се конкурират помежду си.

Това не кара никого да изтегля по-малко

То и не намалява изтеглянето и дневникът на достъпа го казва без много място за тълкуване.

ClaudeBot направи 396 заявки към блога за 36 публикации — точно по 11,0 езикови версии на всяка, всеки език, всеки път. bingbot имаше средно 8,7 за 37 публикации, PetalBot 6,0, Applebot 4,3. SemrushBot стигна до 1,8. Googlebot направи 72 заявки за 42 публикации, средно 1,5 езикови версии на публикация, и е единственият от шестте, който се държи така, сякаш анотацията е стигнала до него.

Като се вземат всички роботи, 73 от 76-те публикации са изтеглени поне веднъж, а 68 от тях на повече от един език. Средното беше 7,84 езикови версии на публикация от единадесет.

Нищо от това не е нарушение. hreflang е подсказка за връзката между страниците, адресирана до онази част от търсачката, която решава кой резултат да покаже. Не е указание към частта, която решава какво да изтегли. Робот няма как да знае, че никога невиждан адрес като /uk/blog/… е превод, докато не го изтегли и не прочете заглавната част — анотацията може да подейства едва след заявката, която би могла да спести.

Какво струва

По-малко, отколкото подсказва горният абзац. Тези 1 689 заявки на роботи към страници от блога са 0,5 процента от 373 019 заявки, на които този виртуален хост отговори за два дни, и 19,9 MB от изпратените 4 363 MB. Една страница от блога се връща за около една десета от секундата, така че цялото единадесетократно обхождане струва някъде около осемдесет секунди процесорно време на ден.

Картата на сайта струва малко повече, отколкото очаквах. В нея са изброени 3 136 адреса с 13 248 анотации за други езици към тях: 1,85 MB XML, 35 KB след компресия. Тя се преизгражда най-много веднъж на всеки шест часа, затова публикация, пусната в един и десет следобед, се появява в нея изцяло няколко часа по-късно, а не веднага.

Нищо в тези числа не си струва промяна. Единственият лост, който би намалил изтеглянето, е адресите да ги няма, а адресите са целта.

Читателите и роботите искат различни неща

Същите два дни, разделени по език, показват два доста различни навика.

Роботите се разпределят почти равномерно: между 5,5 и 10,5 процента от заявките им към блога отиват към всяка от единадесетте версии с префикс, плюс 16 процента към тази без префикс. Така изглежда нещо, което обхожда списък.

Читателите не се разпределят равномерно. 38 процента от заявките им отиват към адреса без префикс и още 18 процента към /en/, така че повече от половината пристигат или на английски, или чрез договаряне. Останалото се разпределя между десет езика, най-голям е немският със 7 процента, най-малък френският с 2 процента.

Тези оставащи 44 процента са цялата причина езиковите пътища да съществуват. Те са и достатъчно малко, за да е лесно езиковите пътища да бъдат обявени за излишни — което е същата грешка като да прочетеш колоната с роботите и да заключиш, че страниците са популярни.

Какво важи по принцип

Правилната подсказка не е указание. Всичко в заглавната част на тези страници е вярно, взаимно и проверимо, а пет от шест робота изтеглят, сякаш нищо от това го няма. Спецификацията описва какво означава анотацията, а не какво ще направи дадена програма, когато я види.

Затова полезният въпрос никога не е бил дали маркировката е правилна. Въпросът беше колко пъти всеки изтеглящ клиент наистина идва, а на това може да отговори само дневникът — и след като е отговорил, честният извод е, че единадесетократното обхождане струва половин процент и трябва да бъде оставено на мира.