it-swarm-es.com

¿Cómo puedo analizar los archivos de registro de Amazon S3?

¿Cuáles son las mejores opciones para analizar los archivos de registro de Amazon S3 (almacenamiento simple)? He activado el registro y ahora tengo archivos de registro que se ven así:

858e709ba90996df37d6f5152650086acb6db14a67d9aaae7a0f3620fdefb88f files.example.com [08/Jul/2010:10:31:42 +0000] 68.114.21.105 65a011a29cdf8ec533ec3d1ccaae921c 13880FBC9839395C REST.GET.OBJECT example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg "GET /example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg HTTP/1.1" 200 - 32957 32957 12 10 "http://atlanta.craigslist.org/forums/?act=Q&ID=163218891" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.19) Gecko/2010031422 Firefox/3.0.19" -

¿Cuáles son las mejores opciones para automatizar los archivos de registro? No estoy usando ningún otro servicio de Amazon que no sea S3.

2
artlung

Amazon recomienda usar AWStats e incluye instrucciones sobre cómo configurar un archivo de configuración de AWStats . También deberá configurar algún método para automatizar la descarga de los registros donde se encuentra su instalación de AWStats.

Personalmente, uso cron para activar un script Python que usa boto para capturar los archivos.

"""s3logDL.py

Downloads S3 logs and deletes old logs

Usage: python s3logDL.py"""

import sys
import os
from boto.s3 import Connection
import boto.s3

########################


########################

def main(argv):
    s3 = Connection('ACCESS_ID', 'PASSWORD')
    logsBucket = s3.get_bucket('logbucket')

    for b in logsBucket:
        #Download log
        print b.name
        key = logsBucket.get_key(b.name)
        fp = open("/PATH/TO/SAVE/POINT/" + b.name, "w")
        key.get_file(fp)

        #Delete log
        key.delete()

    exit(0)


########################

if __== '__main__':
    main(sys.argv)
2
Chealion

Estamos a punto de lanzar Qloudstat que le proporcionará análisis para su cuenta S3 como servicio.

1
David Kocher