Análisis del archivo de registro de Webalizer

Este capítulo explica cómo crear informes a partir de los archivos de registro de su servidor web o proxy utilizando el Webalizer paquete.

Contenido

El módulo de análisis de archivos de registro de Webalizer

Webalizer es un programa disponible gratuitamente para analizar y generar informes a partir de archivos de registro Apache Webserver, Squid y WU-FTPd. Si está ejecutando un sitio web y desea ver qué páginas se visitan más, a qué horas llega la mayor parte del tráfico o de qué países proviene, Webalizer es la herramienta que debe utilizar. Si administra un Squid Proxy Server y desea ver a qué sitios acceden los clientes con mayor frecuencia y cuándo se usa más el proxy, también puede generar informes que muestren esa información.

A diferencia de muchos de los otros servidores que Webmin puede configurar, Webalizer es relativamente simple. Cuando se ejecuta el comando webalizer, lee un archivo de registro y genera páginas HTML e imágenes basadas en los registros de ese registro. También puede leer estadísticas recopiladas en ejecuciones anteriores de un archivo de historial, de modo que el informe pueda incluir datos que ya no están en el archivo de registro. Luego, el mismo archivo de historial se actualiza con información del último informe, para su uso en el procesamiento posterior. Esto permite que el administrador del sistema elimine de manera segura el archivo de registro original una vez que se haya resumido.

Webalizer usa de forma predeterminada el archivo de configuración global /etc/webalizer.conf, que especifica los tipos de tablas y gráficos que se generarán y los títulos que se usarán. En un sistema que alberga varios servidores virtuales, normalmente existen varios archivos de configuración para que se puedan configurar diferentes opciones de informes para diferentes sitios. Desafortunadamente, no hay forma de combinar ambas opciones de los archivos de configuración global y por registro; solo se puede usar uno al generar un informe.

Debido a que los archivos de registro siempre tienen nuevas solicitudes adjuntas, Webalizer generalmente se ejecuta según lo programado por un programa como Cron. No tiene su propio proceso de servidor o daemon, por lo que depende de un planificador para invocarlo todos los días o dos para volver a procesar cada archivo de registro y volver a generar cada informe.

Debido a su relativa simplicidad, Webalizer se comporta de manera idéntica en todas las variedades de Unix. Esto significa que la funcionalidad y el diseño del módulo Webmin también son idénticos, aunque el módulo de trabajos cron programados debe estar instalado y funcionando para que funcione la función de informes programados.

El ícono del módulo Webalizer de Webmin se puede encontrar en la categoría Servidores. Cuando haga clic en él por primera vez, se mostrará una página que enumera todos los archivos de registro que Apache o Squid han sido configurados para usar en su sistema, como se muestra en la Figura 39-1. Al analizar las configuraciones de esos servidores, el módulo generalmente puede determinar dónde se encuentran todos los registros en su sistema que se pueden analizar; sin embargo, también puede agregar fácilmente archivos de registro adicionales al módulo para generar informes.

Pantalla principal de Webalizer Logfile Analysis

Si el módulo detecta que Webalizer no está realmente instalado en su sistema, la página principal mostrará un mensaje de error en su lugar. Si esto sucede, deberá instalarlo desde su CD de distribución de Linux o desde el sitio web del programa en www.webalizer.org. Muchas versiones de Linux incluyen un paquete Webalizer como estándar, que puede instalar utilizando el módulo Paquetes de software.

Si planea usar el módulo para analizar múltiples archivos de registro, es importante asegurarse de que la configuración global de Webalizer esté configurada correctamente para admitir esto. La versión que viene con algunas distribuciones de Linux (como Redhat) usa incorrectamente rutas absolutas para el historial y los archivos de caché que almacenan información sobre ejecuciones de procesamiento anteriores. Para solucionar esto, siga estos pasos antes de configurar las opciones para cualquier archivo de registro:

1. En la página principal del módulo, haga clic en Editar opciones globales botón en la parte inferior. Esto lo llevará a un formulario para editar opciones que se aplican a todos los archivos de registro.
2. En el historial de Webalizer archivo, asegúrese de que el segundo botón de opción esté seleccionado y webalizer.hist aparezca en el cuadro de texto. Si se muestra alguna ruta absoluta como /var/stats/webalizer.hist, cámbiela.
3. Similar, asegúrese de que el archivo incremental de Webalizer el campo está establecido en webalizer.current y no en una ruta completa.
4. El archivo de caché DNS de Webalizer se puede dejar establecido en una ruta absoluta si lo desea, de modo que la información de DNS se comparta entre diferentes informes.
5. Haga clic en Guardar en la parte inferior de la página para registrar la nueva configuración.

Opciones de edición de informes

Antes de que pueda generar un informe a partir de un archivo de registro, debe establecer ciertas opciones, como el directorio de salida, el usuario de Unix para ejecutar el informe como y la configuración del diseño del informe. Suponiendo que el registro haya sido identificado automáticamente por el módulo y se muestre en la página principal, los pasos a seguir son:

1. En la página principal del módulo, haga clic en el nombre del archivo de registro del servidor web para el que desea generar un informe. Se mostrará una página que enumera la configuración actual para ese archivo, como se muestra en la Figura 39-2.
2. El informe Todos los archivos de registro en El campo muestra exactamente qué archivos se utilizarán en cualquier informe creado por Webmin y Webalizer. Debido a que muchos sistemas están configurados para mover, truncar, comprimir y eventualmente eliminar los archivos de registro de Apache y Squid de manera regular (a menudo usando un programa como logrotate), el módulo incluirá todos los archivos en el mismo directorio que comiencen con el mismo nombre que el archivo de registro principal. Entonces, si, por ejemplo, está informando sobre /var/log/httpd/access_log, los archivos access_log.0.gz, access_log.1.gz, etc. en /var/log/httpd también se mostrarán en este campo.
3. En Escribir informe en el directorio ingrese el directorio en el que se deben crear las páginas HTML para el informe. Esto ya debe existir y, por lo general, debe estar en la raíz del documento del sitio web; por ejemplo, /home/example.com/stats . Debe ser propiedad o escritura del usuario especificado en el siguiente campo. Asegúrese de que el directorio no se utilice para nada más, ya que Webalizer creará un archivo index.html y otras páginas HTML que pueden sobrescribir todo lo que ya contiene.
4. Introduzca el nombre del usuario de Unix del que deben ser propietarios los archivos de informe generados en Ejecutar webalizer como usuario campo. Este debe ser el usuario propietario de los archivos HTML del sitio web, para que pueda editarlos o moverlos si es necesario. O simplemente puede ingresar raíz si los informes son solo para su propio uso. Debido a la forma en que el módulo ejecuta Webalizer, el usuario que especifique no tiene que tener acceso de lectura al archivo de registro; sin embargo, ¡debe poder escribir en el directorio de informes!
5. ¿Dejar Reprocesar siempre los archivos de registro? *campo establecido en *No , para que Webalizer pueda hacer uso de la información almacenada en caché de ejecuciones de informes anteriores. Configurándolo en Sí hará que todos los cachés y las estadísticas anteriores se eliminen antes de cada ejecución, de modo que todo el archivo de registro se vuelva a procesar. Esto significa que cualquier dato que ya no esté en los archivos de registro no se incluirá en el informe. Seleccionando Sí es más útil si desea omitir el almacenamiento en caché de estadísticas antiguas de Webalizer, lo que puede ser incorrecto si el archivo de registro ha cambiado por completo desde la última ejecución.
6. En las Opciones de informe campo, seleccione Opciones personalizadas para que el módulo copie el archivo de configuración global de Webalizer para este registro, de modo que luego pueda definir opciones que se aplican solo a este informe. Si solo tiene un sitio web en su sistema o no le importa personalizar los informes para diferentes servidores virtuales, puede seleccionar Usar opciones globales botón de radio en su lugar. Si es así, se pueden ignorar los pasos 9 a 19. La opción final para este campo, Otro archivo de configuración , le permite especificar un archivo de configuración de Webalizer existente para utilizarlo al generar el informe. Esto puede ser útil si ha utilizado el programa anteriormente en este archivo de registro y ya ha personalizado la configuración para él.
7. Salir de Generación de informes programados establecido en Deshabilitado por ahora. La sección "Informes a tiempo" explica cómo habilitarlo.
8. Haga clic en Guardar botón en la parte inferior de la página. Siempre que no haya errores en su entrada, volverá a la página principal del módulo.
9. Si se eligió *Opciones personalizadas *en el paso 6, haga clic en el nombre del archivo de registro nuevamente y luego en Editar opciones botón en la parte inferior de la página. Esto abrirá el formulario de opciones que se muestra en la Figura 39-3.
10. En el nombre de host del sitio web seleccione el segundo botón de radio e ingrese el nombre de su sitio web de la URL en el campo de texto, como www.example.com .
11. Para personalizar los tipos de archivos que Webalizer considera páginas, edite las extensiones en el campo *Tipos de archivos sobre los que informar*. Otros tipos (como imágenes o archivos de audio) no se cuentan para la mayoría de los informes.
12. Si su sitio utiliza otros archivos HTML de índice de directorio que no sean los que comienzan con index. (como casa.html ) introduzca sus nombres de archivo en las páginas de índice del directorio campo. Normalmente, este campo se puede dejar vacío.
13. Normalmente, Webalizer convierte las horas de los archivos de registro a la zona horaria local de su sistema. Para forzar el uso de GMT en su lugar, cambie las Horas de informe en GMT? campo a Sí . A menos que el informe esté siendo visto por personas en diferentes zonas horarias, debe dejarlo establecido en No aunque.
14. Si el archivo de registro puede contener registros que tienen una fecha posterior a los registros que aparecen antes, configure el campo *¿Administrar entradas de registro desordenadas?* en Sí . Esto ralentizará un poco la generación de informes, pero si No es elegido y el registro contiene registros fuera de servicio, Webalizer no lo procesará por completo. Algunos servidores web como el de Netscape son culpables de generar archivos de registro como este.
15. El archivo de historial de Webalizer , Archivo incremental de Webalizer y caché DNS de Webalizer los campos generalmente se pueden dejar sin cambios, siempre que se establezcan en rutas relativas. La introducción explica con más detalle por qué esto es necesario.
16. En los Gráficos y tablas para mostrar sección, anule la selección de aquellos que no desea incluir en el informe.
17. En las Filas y visibilidad de la tabla puede cambiar el tamaño de cada tabla que aparece o eliminarla por completo seleccionando Ninguna .
18. Para activar la creación de páginas adicionales en el informe que enumera todos los clientes que acceden a su sitio, las URL a las que se accede, etc., seleccione las casillas de verificación correspondientes en la sección *Generar páginas que enumeran todos*. De lo contrario, solo se incluirán en el informe las tablas que muestren los 20 principales.
19. Finalmente, haga clic en Guardar botón en la parte inferior de la página. Los informes generados a partir de ahora utilizarán estas opciones.

Figure 39-2 “The log file options page” 

Aunque las instrucciones anteriores están escritas teniendo en cuenta los archivos de registro de Apache, también se aplican a los registros de Squid. La única diferencia es que Squid no tiene un directorio raíz de documentos, por lo que tendrá que crear un nuevo directorio para el informe. Esto podría estar en el directorio raíz de su servidor web, para que cualquiera pueda ver el informe. Si es así, el nombre del usuario de Unix propietario de los archivos HTML del servidor web debe ingresarse en Ejecutar webalizer como usuario campo.

Generar y ver un informe

Una vez que haya configurado las opciones para un informe, generarlo es simple. Solo sigue estos pasos:

1. En la página principal, haga clic en el nombre del archivo de registro para el que se genera el informe.
2. Presiona Generar informe botón en la parte inferior del formulario. Se mostrará una página que muestra la salida de Webalizer a medida que se ejecuta en cada uno de los archivos de registro, para que pueda ver cualquier error que ocurra. Esto puede llevar mucho tiempo (quizás horas) la primera vez que se procesa un archivo de registro grande, ya que se debe realizar una búsqueda inversa para cada dirección IP de cliente en el archivo. Afortunadamente, la carga real de la CPU y la red generada es mínima.
3. Si todo va bien, las páginas HTML del informe se crearán en el directorio de destino. Para verlo, haga clic en el enlace *Ver informe completo* debajo del resultado.
4. La primera página del informe muestra un gráfico de visitas recibidas por el sitio web por mes, con enlaces debajo a páginas que contienen detalles para cada mes individual. Cada una de las páginas del mes muestra tablas y gráficos de visitas por día, por hora, por cliente, por página y por país para el sitio, y también puede mostrar visitas por usuario, navegador y referente si esa información está incluida en su registro. archivos
5. El mismo informe se puede ver directamente desde la página principal del módulo haciendo clic en Ver enlace en el Informe columna para el archivo de registro, o haciendo clic en Ver informe en el formulario de opciones del archivo de registro.

Informes a tiempo

En lugar de generar un informe a partir de un archivo de registro de forma manual, puede utilizar este módulo para configurar un trabajo Cron que ejecute Webalizer de forma regular. Por lo general, un informe debe actualizarse cada uno o dos días, según el tamaño del archivo de registro. Debido a que algunos registros grandes tardan mucho tiempo en procesarse, la actualización con demasiada frecuencia (como una vez por hora) podría hacer que se ejecuten varios procesos de Webalizer en el mismo archivo de registro al mismo tiempo, lo que dañará el informe resultante.

Por lo general, es una buena idea generar un informe para el archivo de registro desde Webmin al menos una vez antes de configurar los informes programados, para que pueda ver si realmente funciona o no. Una vez que haya hecho eso, siga estos pasos:

1. En la página principal del módulo, haga clic en el nombre del archivo de registro. Esto lo llevará al formulario de opciones que se muestra en la Figura 39-2.
2. Cambiar el informe programado campo de generación a *Habilitado, en los momentos elegidos a continuación*.
3. Seleccione las horas y los días en los que se debe volver a procesar el archivo de registro en Minutos , Horas , Días , Meses y días laborables listas a continuación. Para cada uno, puede elegir Todos para generar el informe cada minuto, hora o lo que sea, o puede elegir Seleccionado para que Webalizer se ejecute solo en las horas o fechas seleccionadas de la lista. Para seleccionar varias entradas, mantenga presionada la tecla Control o Mayús mientras hace clic. También puede controlar y hacer clic para anular la selección de las entradas que ya se han elegido. De forma predeterminada, el registro se procesará a la medianoche todos los días. Si tiene varios informes que se generan a tiempo, intente escalonarlos para que no se ejecuten todos al mismo tiempo. Por ejemplo, en su segundo informe seleccione _1_ como la hora en lugar de *0* y así sucesivamente.
4. Haga clic en Guardar para que Webmin cree un trabajo Cron para el informe. Podrá verlo en el módulo Trabajos cron programados, pero solo debe editar las fechas y horas aquí.

Para desactivar la generación de informes regulares para un archivo de registro, seleccione Deshabilitado para la Generación de informes programados campo en su lugar. El trabajo de Cron se eliminará, pero las horas y fechas en las que se configuró se recordarán para que pueda volver a habilitarlo fácilmente.

Agregar otro archivo de registro

Aunque el módulo intenta identificar automáticamente todos los archivos de registro en su sistema, al leer los archivos de configuración de Apache y Squid, puede haber algunos que se pierdan. Esto puede suceder si los módulos Apache Webserver o Squid Proxy Server no se configuraron correctamente, si tiene más de una copia de Apache instalada en su sistema, o si el servidor web se configuró para iniciar sesión en un programa de filtro en lugar de en un programa normal. expediente.

Si desea generar un informe desde un archivo de registro del servidor FTP, definitivamente deberá agregar el archivo al módulo, ya que no detecta los registros de WU-FTPd automáticamente. También puede agregar registros de otros servidores web como Zeus, TUX, Netscape o NSCA, suponiendo que usen el formato CLF estándar que usa Apache. Incluso es posible crear un informe sobre los registros creados por Webmin y Usermin, que se encuentran en /var/webmin/miniserv.log y /var/usermin/miniserv.log respectivamente.

Los pasos para agregar manualmente un archivo de registro para generar informes son:

1. En la página principal del módulo, haga clic en el enlace *Agregar un nuevo archivo de registro para análisis* arriba o debajo de la tabla de registros existentes.
2. En la ruta del archivo de registro base campo, ingrese la ruta completa al archivo de registro como /usr/local/apache/var/foo.com.log . Si existen otros archivos de registro en el mismo directorio cuyos nombres comienzan con foo.com.log , también se incluirán en el informe.
3. Desde el Tipo de archivo de registro seleccione el menú Apache para archivos de formato CLF generados por un servidor web, Squid para registros del servidor proxy Squid o FTP para transferir registros desde WU-FTPd.
4. El resto del formulario se puede completar exactamente de la misma manera que lo haría con un archivo de registro existente. Simplemente siga los pasos 3 y siguientes de la sección "Editar opciones de informe" anteriormente en este capítulo.

Una diferencia entre los archivos de registro agregados manualmente y los que el módulo detecta automáticamente es la presencia de un Eliminar en la parte inferior de la página de opciones del archivo de registro. Al hacer clic en él, se eliminará el registro de la lista en la página principal, pero dejará intactos los informes y el archivo de registro.

Edición de opciones globales

Webalizer tiene un archivo de configuración maestro llamado /etc/webalizer.conf que usa el módulo si las Opciones de informe el campo está configurado para Usar opciones globales . También se copia cuando selecciona *Opciones personalizadas* para proporcionar la configuración inicial para la configuración del archivo por registro; sin embargo, cambiar las opciones globales después no tendrá ningún efecto en los registros que ya están usando su propio archivo de configuración.

Si solo tiene un archivo de registro en su sistema que necesita análisis, tiene más sentido usar solo el archivo global webalizer.conf en lugar de crear uno solo para el informe de ese registro. Y si planea configurar informes en varios archivos de registro, primero debe editar la configuración global de Webalizer para proporcionar una plantilla desde la cual se copian las configuraciones por registro. Para editarlo, los pasos a seguir son :

1. En la página principal del módulo, haga clic en Editar opciones globales icono. Su navegador mostrará un formulario de opciones similar al de la Figura 39-3.
2. Siga los pasos 11 en adelante en la sección "Editar opciones de informe" anteriormente en este capítulo para configurar la apariencia de todos los informes. Los campos de este formulario tienen exactamente el mismo significado que los de la página de opciones por informe.
3. Haga clic en Guardar para actualizar el archivo de configuración con sus cambios.

Si está generando más de un informe, tiene mucho más sentido establecer opciones para cada uno individualmente. De esa manera, puede establecer un nombre de host de servidor web diferente para cada uno, de modo que el título y los enlaces a las páginas de cada informe sean correctos.

Opciones globales de Webalizer

Control de acceso a módulos

Como se explica en el capítulo 52, puede crear un usuario o grupo de Webmin que tenga acceso solo a un subconjunto limitado de las funciones de la mayoría de los módulos. En el caso del módulo Webalizer, puede otorgar a un usuario los derechos para editar opciones y generar informes solo a partir de algunos de los registros de su sistema. Esto puede ser útil si su sistema aloja varios servidores virtuales Apache, cada uno de ellos propiedad de una persona diferente. Siempre que cada servidor tenga su propio archivo de registro independiente, puede otorgar a un usuario de Webmin los derechos para administrar tanto un servidor virtual como su informe de registro.

Una vez que a un usuario se le ha dado acceso al módulo, los pasos a seguir para limitarlo solo a algunos de los archivos de registro en su sistema son:

1. En el módulo Usuarios de Webmin, haga clic en Análisis del archivo de registro de Webalizer junto al nombre del usuario. Esto abrirá el formulario de control de acceso al módulo estándar.
2. Cambie ¿Puede editar la configuración del módulo? campo a No , para que no pueda modificar las rutas a Webalizer o su archivo de configuración global.
3. Salir ¿Solo puede ver los informes existentes? establecido en No , para que el usuario pueda editar las opciones de informes sobre los archivos de registro que posee.
4. Establecer ¿Se pueden editar las opciones globales del webalizer? a No para evitar que el usuario edite opciones que puedan aplicarse a los registros de otras personas.
5. En el campo Ejecutar Webalizer como usuario , seleccione el último botón de radio e ingrese el nombre del usuario de Unix con el que este usuario de Webmin normalmente inicia sesión. Esto evitará que configure informes que se generan como root, lo que podría ser un grave riesgo de seguridad, ya que permitiría sobrescribir los archivos del sistema y los que pertenecen a otras personas.
6. En el campo *Permitir solo ver y editar informes para registros en*, ingrese la ruta completa a un archivo de registro (como /var/log/httpd/example.com.log ) o un directorio que tenga archivos de registro (como /home/example.com/logs ). El módulo ocultará cualquier registro descubierto automáticamente fuera de ese directorio, de modo que el usuario no pueda configurar informes para los sitios web de otras personas.
7. Presiona Guardar botón para activar las nuevas restricciones.

Una vez que un usuario ha sido restringido de esta manera, podrá usar el módulo para configurar informes solo para aquellos archivos de registro en el directorio permitido. Los informes solo se generarán como el usuario de Unix especificado en el paso 5, lo que impide que el usuario de Webmin sobrescriba archivos que normalmente no podría en un indicador de shell. Esto hace que el módulo sea bastante seguro para que lo usen personas que no son de confianza, aunque un usuario malintencionado podría configurar un trabajo Cron de informes que se ejecuta con mucha frecuencia y consume una cantidad excesiva de tiempo de CPU.

Configuración del módulo de análisis de archivos de registro de Webalizer

Puede establecer las rutas que utiliza el módulo para el programa Webalizer y su archivo de configuración global utilizando el formulario de configuración del módulo, accesible a través de la Configuración del módulo estándar. enlace en la página principal. Al hacer clic en él, muestra un formulario que contiene los siguientes campos:

Pantalla de configuración de Webalizer