שתים עשרה כתובות URL למאמר אחד

כל רשומה בבלוג הזה נמצאת בשתים עשרה כתובות. אחת עשרה מכילות קידומת שפה — /en/blog/…, /de/blog/… ועוד תשע — והשתים עשרה ללא קידומת כלל. היא קוראת את כותרת Accept-Language של הדפדפן ומחזירה תשובה בשפה המזוהה מבין אחת עשרה השפות.

ב־27 וב־28 באוגוסט, סורקים שלפו 1,609 דפי בלוג מהאתר הזה. קוראים שלפו 628.

מה הדפים כבר אומרים זה לזה

כל השנים עשר אומרים את אותם שלושה דברים בראשם, ובדקתי היום את שלושתם במקום לסמוך על הקוד.

הקישור הקנוני בכל דף מצביע על עצמו. אחת עשרה שורות hreflang מציינות את גרסאות השפה האחרות, והשתים עשרה מציינת את הכתובת ללא הקידומת בתור x-default, כי הכתובת הזאת אינה שייכת לשפה יחידה. הכתובת ללא הקידומת עונה עם Vary: Accept-Language, Accept-Encoding, כך שכל מטמון לפניה יודע שגוף התשובה תלוי בכותרת בקשה.

המשא ומתן עובד. בקשת אותה כתובת URL עם Accept-Language: de מחזירה דף שמסומן lang="de", ועם ja דף יפני, ועם קוד שאיש אינו משתמש בו, אנגלית. שתים עשרה בקשות שהתחלפו בין ארבע שפות החזירו ארבעה גופים נכונים שלוש פעמים, כך שמטמון הדפים מבוסס על השפה ולא רק על הנתיב.

זה מה שהמפרט מבקש: קבוצה מלאה והדדית שבה כל חבר מציין את עצמו ואת כל האחרים. זה הסידור שמאפשר למנוע חיפוש להתייחס לשתים עשרה כתובות כמאמר אחד בשתים עשרה שפות במקום כשנים עשר מאמרים שמתחרים זה בזה.

זה אינו גורם לאיש לשלוף פחות

זה גם אינו מצמצם את השליפה, ויומן הגישה אומר זאת בלי מקום רב לפרשנות.

הסורק ClaudeBot ביצע 396 בקשות בלוג ב־36 רשומות — בדיוק 11.0 גרסאות שפה לכל אחת, כל שפה, בכל פעם. הסורק bingbot רשם ממוצע של 8.7 ב־37 רשומות, PetalBot עם 6.0, Applebot עם 4.3. הסורק SemrushBot הגיע ל־1.8. הסורק Googlebot ביצע 72 בקשות ב־42 רשומות, בממוצע 1.5 גרסאות שפה לרשומה, והוא היחיד מהשישה שמתנהג כאילו הסימון הגיע אליו.

בכל הסורקים, 73 מתוך 76 הרשומות נקראו לפחות פעם אחת, ו־68 מהן ביותר משפה אחת. הממוצע היה 7.84 גרסאות שפה לרשומה מתוך אחת עשרה.

שום דבר מזה אינו הפרה. hreflang הוא רמז על הקשר בין דפים, שמיועד לחלק במנוע חיפוש שמחליט איזו תוצאה להציג. הוא אינו הוראה לחלק שמחליט מה להוריד. סורק שמעולם לא ראה את /uk/blog/… אינו יכול לדעת שזה תרגום עד שהוא שולף אותו וקורא את הראש — הסימון יכול להשפיע רק אחרי הבקשה שהיה יכול לחסוך.

מה זה עולה

פחות ממה שהפסקה שלמעלה מרמזת. אם מוסיפים את דפי הסקירה והתגיות של הבלוג ל־1,609 דפי הרשומות, הסורקים שלחו 1,689 בקשות תחת /blog: 0.5 אחוז מ־373,019 הבקשות שהמארח הווירטואלי הזה ענה עליהן ביומיים, ו־19.9 MB מתוך 4,363 MB ששלח. דף בלוג חוזר בתוך כעשירית השנייה, ולכן כל הסריקה באחת עשרה שפות עולה בסביבות שמונים שניות זמן מעבד ביום.

מפת האתר עולה קצת יותר משציפיתי. היא מפרטת 3,136 כתובות עם 13,248 סימוני שפות חלופיות שמוצמדים אליהן: 1.85 MB של XML, ו־35 KB לאחר דחיסה. היא נבנית מחדש לכל היותר פעם בשש שעות, ולכן רשומה שפורסמה באחת ועשר אחר הצהריים מופיעה בה בשלמותה כמה שעות אחר כך ולא מיד.

שום דבר במספרים האלה אינו מצדיק שינוי. המנוף היחיד שיצמצם את השליפה הוא היעדר הכתובות, והכתובות הן המטרה.

קוראים וסורקים רוצים דברים שונים

אותם יומיים, בחלוקה לפי שפה, מראים שני הרגלים שונים למדי.

הסורקים מתחלקים כמעט שווה בשווה: בין 5.5 ל־10.5 אחוז מבקשות הבלוג שלהם הגיעו לכל אחת מאחת עשרה הגרסאות עם קידומת, ועוד 16 אחוז לגרסה ללא קידומת. זאת הצורה של משהו שעובר על רשימה.

הקוראים אינם מתחלקים שווה בשווה. 38 אחוז מבקשותיהם הגיעו לכתובת ללא קידומת ועוד 18 אחוז לכתובת /en/, כך שיותר ממחצית הגיעו באנגלית או באמצעות משא ומתן. היתר מתחלק בין עשר שפות, הגדולה ביותר גרמנית עם 7 אחוז והקטנה ביותר צרפתית עם 2 אחוז.

44 האחוז הנותרים הם כל הסיבה לקיום נתיבי השפה. זה גם קטן מספיק כדי שיהיה קל לטעון שאין צורך בנתיבי השפה — וזאת אותה טעות כמו קריאת עמודת הסורקים והסקה שהדפים פופולריים.

מה חל באופן כללי

רמז נכון אינו הוראה. כל מה שנמצא בראש הדפים האלה נכון, הדדי וניתן לבדיקה, וחמישה מתוך שישה סורקים שולפים כאילו דבר מזה אינו שם. המפרט מתאר מה משמעות הסימון, לא מה תוכנית מסוימת תעשה כשתראה אותו.

לכן השאלה השימושית מעולם לא הייתה אם קוד הסימון נכון. היא הייתה כמה פעמים כל כלי שליפה מגיע בפועל, וזאת שאלה שרק היומן יכול לענות עליה — ולאחר שנענתה, המסקנה הכנה היא שהסריקה באחת עשרה שפות עולה חצי אחוז וכדאי להניח לה.