로봇도 페이지를 읽습니다
이 글의 내용
공개된 웹사이트의 독자가 오로지 사람인 경우는 없습니다. 인터넷 통행량의 상당하고 지극히 평범한 몫이 흔히 로봇이나 크롤러라고 부르는 자동 프로그램입니다.
그 스크립트들은 검색 엔진, 보존 사업, 학술 기관이 웹의 내용을 체계적으로 색인하려고 돌립니다. 한 문서에서 다른 문서로 링크를 따라가며 인터넷을 누비고, 글을 읽고, 구조를 정리합니다.
페이지의 소스 코드를 뜯어보므로, 눈에 보이는 측정 도구에 쓰이는 태그를 비롯한 외부 요소 참조를 어쩔 수 없이 만납니다. 그 자동 방문자를 어떻게 다루느냐가 나오는 통계의 정확도에 깊이 영향을 줍니다.
예전에는 저절로 되던 거르개
역사적으로 자동 스크립트는 되도록 빠르고 가볍게 만들어졌습니다. 페이지의 원본 글자만 내려받고 그림, 스타일 파일, 복잡한 스크립트에 대한 참조는 완전히 무시했습니다.
그 옛 조건에서는 그림에 기반한 셈이 사람 아닌 통행량의 절대다수를 저절로 걸러 냈습니다. 로봇이 그림 파일을 아예 청하지 않았으므로 서버는 조회를 기록하지 않았습니다.
최종 숫자는 페이지를 읽으려고 시각 요소가 실제로 필요했던 진짜 사람의 브라우저만을 비추었습니다. 그 내재된 거르개가 단순한 그림을 측정에 쓰는 큰 장점 가운데 하나였고, 관리가 거의 필요 없었습니다.
크롤러가 그림을 보기 시작했을 때
그러나 자동 체계의 거동이 크게 달라졌습니다. 현대 검색 엔진은 특히 모바일 기기에서 페이지의 쓸모를 평가하려고 그것이 어떻게 보이는지 정확히 알아야 합니다.
그러려고 그 크롤러들은 이제 딸린 그림과 스타일 파일을 모두 내려받아 페이지의 완전한 시각 스냅숏을 만듭니다.
그러니 그 정교한 프로그램들은 측정 그림을 실제로 청하고, 사람 방문자와 똑같이 계수 장치를 움직입니다. 그대로 두면 그 거동이 기록된 숫자를 인위로 부풀려, 검색 엔진이 자기 보관 자료를 다시 색인하기로 했다는 이유만으로 조용한 본당 웹사이트가 굉장히 인기 있어 보이게 만듭니다.
서버가 맞대어 보는 목록
그 부풂을 막으려면 그림을 내보내는 서버가 들어오는 요청을 적극적으로 뜯어보아야 합니다. 자동 프로그램은 대개 표준으로 보내는 데이터 안에서 특정한 이름으로 자기를 분명히 밝힙니다.
잘 관리되는 계수 체계는 그 자기 소개 문자열을 알려진 자동 표지의 방대하고 끊임없이 갱신되는 목록에 맞대어 봅니다.
맞는 것이 있으면 서버는 크롤러가 스냅숏을 마칠 수 있도록 그림은 그대로 내보내되, 그 요청을 실제 셈에서 조용히 버립니다. 그 분리가 공개 표시를 색인 스크립트의 지칠 줄 모르는 활동이 아니라 진짜 사람의 관심으로 비추게 합니다.
언제나 빠져나가는 몫
그런 거르기에도 분리가 완전히 완벽한 적은 없습니다. 새 자동 도구가 날마다 만들어지고, 어떤 것은 평범한 데스크톱 브라우저처럼 보이려고 적극적으로 변장합니다.
그 변장한 프로그램을 알아보려면 어떤 인터넷 주소가 몇 초 안에 수천 페이지를 청한다든가 하는 더 넓은 형세를 뜯어보아야 합니다.
사람과 아주 영리한 스크립트를 정확하고 흠 없이 가르는 일은 기술적으로 불가능하지만, 튼튼한 거르개 목록은 잡음의 절대다수를 없앱니다. 최종 숫자의 작은 몫이 언제나 알아보지 못한 자동 체계일 수 있음을 인정하는 것이 인터넷 통계를 읽는 데 필요한 자세이고, 실제 도달 범위를 현실적으로 이해하게 해 줍니다.