একটি অ্যাক্সেস লগ ভুলভাবে গণনা করার দুটি উপায়
বিষয়বস্তু ও তার পর্যালোচনা সম্পর্কে
এই নিবন্ধে
এখানে এক সপ্তাহের পরিবর্তন নির্ভর করছিল অ্যাক্সেস লগের একদিনের গণনার ওপর: দশ লাখ লাইন, যার মধ্যে এক লাখ আমাদের। এর কোনোটি কাজ করেছে কিনা তা জানতে, পরবর্তীতে আবার একই গণনা করতে হবে — এবং দ্বিতীয়বার হাতে তৈরি করা গণনা কখনোই প্রথমবারের মতো অবিকল হয় না। একটি ভিন্ন বট তালিকা, একটি ভিন্ন তারিখের পরিসর, একটি ভিন্ন grep।
তাই গণনা একটি টুলে স্থানান্তরিত হয়েছে যাতে বেসলাইনটি ধ্রুবক হিসেবে লেখা আছে। প্রথম রানটি সেই লগের বিরুদ্ধেই ছিল যেখান থেকে বেসলাইনটি এসেছিল। সবকিছু সমান হতে হয়েছিল।
দুটি লাইন মেলেনি। উভয় বারই টুলটি সঠিক ছিল এবং মূল গণনাটি ভুল ছিল।
grep পুরো লাইন পড়ে
সপ্তাহের প্রধান আবিষ্কারটি ছিল যে ওনার টোকেনটি একটি পূর্ণ দিনে একবার প্রদর্শিত হয়েছিল। এটি একটি প্যাটার্নের সাথে পুরো লগ লাইনের বিপরীতে মিলিয়ে গণনা করা হয়েছিল — এবং একটি লগ লাইনে অনুরোধ থাকে, তবে রেফারার এবং ব্যবহারকারী এজেন্টও থাকে।
একক ম্যাচটি ছিল একটি সার্চ ইঞ্জিনের রেফারার URL-এর ভেতরে একটি &t= । কেউ একটি মোবাইল অনুসন্ধান ফলাফল থেকে এসেছে যার ঠিকানায় ঘটনাক্রমে সেই দুটি অক্ষর ছিল। অনুরোধের মধ্যে, টোকেনটি দেখা গেছে শূন্য বার।
আবিষ্কারটি আরও জোরালো হয়ে উঠেছিল, যা ভুল হওয়ার একটি অদ্ভুত উপায়। এটি এখনও ভুল। প্রথমে অনুরোধ ফিল্ডটি কেটে বাদ দেওয়া দরকার — এটি একটি সম্মিলিত লগ লাইনের দ্বিতীয় উদ্ধৃত ফিল্ড — এবং সেটির ভেতরে অনুসন্ধান করা দরকার।
একটি else-if চেইন নির্দিষ্ট কেসটিকে গ্রাস করে
দ্বিতীয় গণনায় বলা হয়েছে যে সাপ্তাহিক ফিডটি শূন্যবার আনা হয়েছে। শ্রেণিবিন্যাসটি যুক্তিসঙ্গত মনে হয়েছিল:
if (url contains "/live/") ... else if (url contains "feed.xml") ...
এই সাইটে ফিড ঠিকানাগুলি হল /live/<number>/feed.xml। প্রতিটি প্রথম শাখার সাথে মিলে গেছে এবং কখনোই দ্বিতীয়টিতে পৌঁছায়নি। আসল সংখ্যাটি ছিল 398।
ভুল সংখ্যা থেকে টানা সিদ্ধান্তটি টিকে গেছে: সেই 398 টি অনুরোধ তিনটি সাধারণ ব্রাউজার স্ট্রিংয়ের অধীনে থাকা সমস্ত এগারোটি ভাষা প্রিফিক্স জুড়ে সমানভাবে ছড়িয়ে ছিটিয়ে রয়েছে, যা একটি ক্রলার দ্বারা প্রতিটি অনুবাদ গ্রহণ করার নির্দেশক, কোনো গ্রাহক নয়। কেউ সদস্যতা নেয়নি। কিন্তু "কেউ সদস্যতা নেয়নি" এবং "শূন্য অনুরোধ" সম্পূর্ণ ভিন্ন বক্তব্য, এবং দ্বিতীয়টি পরীক্ষা করার আগেই বারবার উদ্ধৃত করা হয়েছিল।
যে পরীক্ষাটি উভয় ভুল ধরে ফেলে
বেসলাইনটি যে সঠিক দিন থেকে এসেছে সেই দিনের বিপরীতে গণনার টুলটি চালানো দরকার। প্রতিটি লাইন সমান হতে হবে। যা সমান হয় না তা হয় টুলের একটি বাগ বা মূল গণনার একটি বাগ, এবং কোনটি তা পরে জানার চেয়ে আগেই প্রকাশ পায়।
এটি একটি রান এবং প্রায় চার মিনিট সময় নিয়েছে। ততক্ষণে উভয় সংখ্যাই লিখিতভাবে প্রকাশিত হয়েছিল, এবং কোডটি আরও মনোযোগ সহকারে পড়ার মাধ্যমে কোনোটিই ধরা পড়ত না — কেবল পরিমাপটি নিজেই যাচাই করার মাধ্যমে ধরা পড়েছে।