ఒక వ్యాసానికి పన్నెండు URLలు
విషయవస్తువు, దాని సమీక్ష గురించి
ఈ వ్యాసంలో
ఈ బ్లాగ్లోని ప్రతి పోస్ట్ పన్నెండు చిరునామాలలో ఉంటుంది. పదిహేను భాషా ప్రిఫిక్స్ను కలిగి ఉంటాయి — /en/blog/…, /de/blog/… మరియు మరో తొమ్మిది — మరియు పన్నెండవదానికి ప్రిఫిక్స్ ఏదీ ఉండదు. ఆ చిరునామా బ్రౌజర్ యొక్క Accept-Language హెడర్ను చదివి, అది గుర్తించిన పదిహేను భాషలలో ఒకదానిలో సమాధానం ఇస్తుంది.
ఆగస్టు 27 మరియు 28 తేదీలలో, క్రాలర్లు ఈ సైట్ నుండి 1,609 బ్లాగ్ పేజీలను సేకరించాయి. పాఠకులు 628 పేజీలను సేకరించారు.
పేజీలు ఇప్పటికే ఒకదానికొకటి ఏమి చెబుతున్నాయి
పన్నెండు పేజీలు కూడా తమ హెడ్లో ఒకే మూడు విషయాలను చెబుతాయి, మరియు నేను కోడ్ను నమ్మకుండా ఈరోజు మూడింటినీ తనిఖీ చేశాను.
ప్రతి పేజీలోని కానానికల్ లింక్ దానికదే నిర్దేశిస్తుంది. పదిహేను hreflang లైన్లు సమాన స్థాయి భాషా సంస్కరణలను పేర్కొంటాయి, మరియు పన్నెండవది ప్రిఫిక్స్ లేని చిరునామాను x-defaultగా పేర్కొంటుంది, ఎందుకంటే ఆ చిరునామా ఏ ఒక్క భాషకు చెందదు. ప్రిఫిక్స్ లేని చిరునామా Vary: Accept-Language, Accept-Encodingతో సమాధానమిస్తుంది, కాబట్టి దాని ముందు క్యాషింగ్ చేసే ఏదైనా వ్యవస్థ బాడీ అనేది ఒక అభ్యర్థన హెడర్పై ఆధారపడి ఉంటుందని తెలుసుకుంటుంది.
సంప్రదింపులు పనిచేస్తాయి. అదే URL కోసం Accept-Language: de తో అడగడం ద్వారా గుర్తించబడిన పేజీ వస్తుంది lang="de", తో ja ఒక జపనీస్ పేజీ వస్తుంది, ఎవరూ ఉపయోగించని కోడ్తో, ఇంగ్లీష్ పేజీ వస్తుంది. నాలుగు భాషల మధ్య మారే పన్నెండు అభ్యర్థనలు నాలుగు సరైన బాడీలను మూడుసార్లు ఇచ్చాయి, కాబట్టి పేజీ క్యాష్ కేవలం పాత్పైనే కాకుండా భాషపై కూడా ఆధారపడి ఉంటుంది.
నిర్దేశం కోరేది ఇదే: ప్రతి సభ్యుడు తనను మరియు దాని అన్ని ఇతర సంస్కరణలను పేర్కొనే ఒక పూర్తి, పరస్పర సమూహం. ఈ ఏర్పాటు వల్లనే ఒక సెర్చ్ ఇంజిన్ పన్నెండు చిరునామాలను ఒకదానితో ఒకటి పోటీపడే పన్నెండు వ్యాసాలుగా కాకుండా, పన్నెండు భాషల్లోని ఒకే వ్యాసంగా పరిగణించగలుగుతుంది.
ఇది ఎవరూ తక్కువగా సేకరించేలా చేయదు
ఇది సేకరణను తగ్గించదు, మరియు యాక్సెస్ లాగ్ ఎటువంటి సందేహానికి తావులేకుండా ఆ విషయాన్ని చెబుతోంది.
ClaudeBot 36 పోస్ట్లలో 396 బ్లాగ్ అభ్యర్థనలను చేసింది — ప్రతిసారీ, ప్రతి భాషలో, ఖచ్చితంగా 11.0 భాషా సంస్కరణలు. bingbot 37 పోస్ట్లలో సగటున 8.7, PetalBot 6.0, Applebot 4.3 నమోదు చేశాయి. SemrushBot 1.8 సాధించింది. Googlebot 42 పోస్ట్లలో 72 అభ్యర్థనలను చేసింది, ఒక్కో పోస్ట్కు సగటున 1.5 భాషా సంస్కరణలు, మరియు ఆ అన్వేషణ సమాచారం దానికి చేరినట్లుగా వ్యవహరించే ఆరింటిలో ఇదొక్కటే.
అన్ని క్రాలర్లలో, 76 పోస్ట్లలో 73 పోస్ట్లు కనీసం ఒక్కసారైనా తాకబడ్డాయి, మరియు వాటిలో 68 ఒకటి కంటే ఎక్కువ భాషల్లో తాకబడ్డాయి. పదకొండింటికి గాను ఒక్కో పోస్ట్కు సగటున 7.84 భాషా సంస్కరణలు ఉన్నాయి.
ఇందులో ఏదీ నిబంధనల ఉల్లంఘన కాదు. hreflang అనేది ఏ ఫలితాన్ని చూపించాలో నిర్ణయించే సెర్చ్ ఇంజిన్ భాగానికి ఉద్దేశించిన, పేజీలు ఎలా సంబంధం కలిగి ఉన్నాయో తెలిపే ఒక సూచన మాత్రమే. ఏమి డౌన్లోడ్ చేయాలో నిర్ణయించే భాగానికి ఇది ఆదేశం కాదు. ఎన్నడూ చూడని క్రాలర్ /uk/blog/… దానిని సేకరించి హెడ్ను చదివే వరకు అది అనువాదమని తెలుసుకునే మార్గం లేదు — ఆ నివేదన అది ఆదా చేయగల అభ్యర్థన తర్వాత మాత్రమే అమలులోకి రాగలదు.
దీనికి అయ్యే ఖర్చు ఎంత
పైన పేర్కొన్న పేరా సూచించే దానికంటే తక్కువే. 1,609 పోస్ట్ పేజీలకు బ్లాగ్ యొక్క ఓవర్వ్యూ మరియు ట్యాగ్ పేజీలను జోడిస్తే, క్రాలర్లు /blog కింద 1,689 అభ్యర్థనలను పంపాయి: ఈ వర్చువల్ హోస్ట్ రెండు రోజుల్లో సమాధానమిచ్చిన 373,019 అభ్యర్థనలలో 0.5 శాతం, మరియు అది పంపిన 4,363 MB లో 19.9 MB. ఒక బ్లాగ్ పేజీ సెకనులో పదో వంతులో తిరిగి వస్తుంది, కాబట్టి మొత్తం పన్నెండు రెట్ల క్రాల్ ప్రక్రియ రోజుకు దాదాపు ఎనభై సెకన్ల ప్రాసెసర్ సమయాన్ని మాత్రమే తీసుకుంటుంది.
సైట్మ్యాప్ ఆశించిన దానికంటే కొంచెం ఎక్కువ ఖర్చు అవుతుంది. ఇది 3,136 చిరునామాలను 13,248 ప్రత్యామ్నాయ-భాషా ఉల్లేఖనాలతో జాబితా చేస్తుంది: 1.85 MB XML, కంప్రెస్ చేసిన తర్వాత 35 KB. ఇది గరిష్టంగా ప్రతి ఆరు గంటలకు ఒకసారి పునర్నిర్మించబడుతుంది, అందుకే మధ్యాహ్నం ఒంటిగంట పది నిమిషాలకు ప్రచురించబడిన పోస్ట్ కొన్ని గంటల తర్వాత అందులో పూర్తిగా కనిపిస్తుంది కానీ వెంటనే కనిపించదు.
ఆ సంఖ్యలలో మార్చదగినది ఏదీ లేదు. సేకరణను తగ్గించే එකే ఒక మార్గం చిరునామాలను కలిగి ఉండకపోవడమే, కానీ ఆ చిరునామాలే ప్రధానమైనవి.
పాఠకులు మరియు క్రాలర్లు వేర్వేరు విషయాలను కోరుకుంటారు
భాషల వారీగా విభజించబడిన అదే రెండు రోజులు రెండు భిన్నమైన అలవాట్లను చూపుతాయి.
క్రాలర్లు దాదాపు సమానంగా విస్తరించాయి: వారి బ్లాగ్ అభ్యర్థనలలో 5.5 నుండి 10.5 శాతం వరకు పదిహేను ప్రిఫిక్స్ సంస్కరణలలో ప్రతిదానికి వెళ్ళాయి, అలాగే 16 శాతం ప్రిఫిక్స్ లేని దానికి వెళ్ళాయి. అది ఒక జాబితాను క్రమంగా చూసే విధానం.
పాఠకులు సమానంగా విస్తరించరు. వారి అభ్యర్థనలలో 38 శాతం ప్రిఫిక్స్ లేని చిరునామాకు మరియు మరొక 18 శాతం /en/కి వెళ్ళాయి, కాబట్టి సగానికి పైగా ఇంగ్లీష్లో లేదా సంప్రదింపుల ద్వారా వచ్చాయి. మిగిలినది పది భాషలలో విభజించబడింది, అతిపెద్దది జర్మన్ 7 శాతంతో, చిన్నది ఫ్రెంచ్ 2 శాతంతో ఉన్నాయి.
ఆ మిగిలిన 44 శాతం మాత్రమే భాషా పాత్లు ఉనికిలో ఉండటానికి సమగ్ర కారణం. భాషా పాత్లు తీసివేయవచ్చని వాదించడానికి వీలుగా అది చాలా చిన్నదిగా కూడా ఉంది — కానీ క్రాలర్ కాలమ్ను చదివి ఆ పేజీలు జనాదరణ పొందినవని ముగించడం కూడా అటువంటి పొరపాటే.
సాధారణీకరించేది ఏమిటి
సరైన సూచన అనేది ఆదేశం కాదు. ఈ పేజీల హెడ్లోని ప్రతిదీ సరైనది, పరస్పరమైనది మరియు ధృవీకరించదగినది, కానీ ఆరు క్రాలర్లలో ఐదు అవేమీ లేనట్లే సేకరిస్తాయి. ఒక నిర్దిష్ట ప్రోగ్రామ్ దానిని చూసినప్పుడు ఏమి చేస్తుందో కాదు, ఉల్లేఖనం అంటే ఏమిటో మాత్రమే స్పెసిఫికేషన్ వివరిస్తుంది.
కాబట్టి ఉపయోగకరమైన ప్రశ్న మార్కప్ సరైనదా కాదా అనేది ఎప్పుడూ కాదు. ప్రతి ఫెచర్ వాస్తవానికి ఎన్నిసార్లు వస్తుందనేది ప్రశ్న, దానికి లాగ్ మాత్రమే సమాధానం చెప్పగలదు — మరియు సమాధానం ఇచ్చిన తర్వాత, ప్రామాణికమైన ముగింపు ఏమిటంటే, పదకొండు రెట్ల క్రాలింగ్ అర శాతం ఖర్చు అవుతుంది మరియు దానిని అలాగే వదిలేయాలి.