Los contadores también contaban robots
Todos los contadores han estado contando robots, sin excepción. Hasta este mes, aquí nadie podía decir cuántos, porque nada lo medía, y un rastreador que solicita una imagen de contador es exactamente igual a una persona que solicita una imagen de contador.
Ahora se mide. Las cifras son peores de lo esperado.
Lo que muestran los primeros días
El conteo comenzó el 9 de agosto. En todos los contadores de este sitio, la proporción de hits procedentes de rastreadores en lugar de personas:
- 9 de agosto — 1.193 de 16.070 hits, alrededor del 7 %
- 10 de agosto — 1.624 de 20.181
- 11 de agosto — 1.954 de 20.918
- 12 de agosto — 2.707 de 22.740, alrededor del 12 %
Entre un siete y un doce por ciento, pues. Cuatro días no son una tendencia y no se van a presentar como tal: la variación puede deberse a los propios rastreadores, o puede que la detección esté captando más a medida que crece la lista de firmas.
La cifra que realmente llama la atención
El promedio oculta la parte interesante. Analizando los contadores individuales día a día, se midieron 2.412 días de contador, y en 631 de ellos la mayoría de los hits contabilizados fueron bots.
Dicho de otro modo, en aproximadamente una cuarta parte de los días de contador, la mayoría de los «visitantes» no eran visitantes. Así es como se ve un sitio tranquilo desde dentro: un puñado de personas reales, y una patrulla constante de rastreadores que nunca se detiene, nunca duerme y nunca lee nada.
En un sitio pequeño, cuando la cifra sube poco a poco aunque sea imposible que alguien esté leyendo, esa es la respuesta, y ahora aparece en la página de estadísticas como Bots (30 days).
Cómo se reconocen
Por el nombre que el cliente da de sí mismo. Baiduspider, Googlebot, Amazonbot, AhrefsBot, los distintos monitores de disponibilidad, y las herramientas sencillas que no fingen ser otra cosa: curl, wget, python-requests, Scrapy. Una solicitud que no da ningún nombre también se trata como un bot, porque los navegadores siempre dan uno.
La lista es deliberadamente corta. Solo coincide con firmas inequívocas, lo que significa que los rastreadores bien identificados quedan atrapados y uno que miente diciendo ser Chrome no. Ese es el orden correcto: un bot contado como persona es un error pequeño, y una persona descartada como bot es un dato que nunca se puede recuperar.
La decisión que aún no se ha tomado
Esta es la parte honesta. Los bots todavía se cuentan en los totales. Se muestran por separado para que queden a la vista, pero la cifra grande del contador todavía los incluye.
Excluirlos es un único ajuste, y está deliberadamente desactivado. Activarlo reduciría la cifra visible de todos los contadores de este sitio en aproximadamente una décima parte, de la noche a la mañana, sin haber preguntado a nadie. Para contadores que llevan funcionando desde 2007 y que se han convertido en un pequeño motivo de orgullo en la página de alguien, restar silenciosamente una parte de su total no es una corrección técnica neutral.
Así que la cifra se muestra primero. Si debería restarse en lugar de simplemente indicarse, vale la pena saberlo: el formulario de soporte está en este sitio, y al otro lado hay una persona real.