Yahi. analisador de log paralelo versátil
Baixe Agora

Yahi. Classificação e resumo

Yahi. Tag

registro Parser de log. analisador paralelo Logs de análise

Yahi. Descrição

O Yahi é um analisador de logs versátil que fornece extratores padrão para o Apache / LighttpD.comMand UsageExample de dados analisados com o Yahi: http://wwwstat.julbox.fr/simplest Usage é: speed_shoot -g / usr / local / dados / geOIP / VAR / www / apache / access * logit retornará um JSON no formulário: {"by_date": {"2012-5-3": 11}, "total_line": 11 ", ipby_url": {"/favicon.ico" : {"192.168.0.254": 2, "192.168.0.35": 2}, "/": {"74.125.18.162": 1, "192.168.0.254": 1, "192.168.0.35": 5: 5}}, "By_status": {"200": 7, "404": 4}, "by_dist": {"desconhecido": 11}, "bytes_by_ip": {"74.125.18.162": 151, "192.16.0.254": 489 , "192.168.0.35": 1093}, "by_url": {"/favicon.ico": 4, "/": 7}, "by_os": {"desconhecido": 11}, "Week_browser": {"3 ": {" desconhecido ": 11}}," By_referer ": {": {": 11}," por_browser ": {" desconhecido ": 11}," by_ip ": {" 74.125.18.162 ": 1," 192.168 .0.254 ": 3", 192.168.0.35 ": 7}," by_agent ": {" Mozilla / 5.0 (x11; ubuntu; linux x86_64; RV: 12.0) Gecko / 20100101 Firefox / 12.0, GZIP (GFE) (através de Traduzir .google.com) ": 1," m Ozilla / 5.0 (x11; Ubuntu; Linux x86_64; RV: 12.0) Geco / 20100101 Firefox / 12.0 ": 10}," By_hour ": {" 9 ": 3," 10 ": 4," 11 ": 1," 12 ": 3}," By_country ": "": 10, "EUA": 1}} Se você usar: speed_shoot -f csv -g / usr / local / dados / geOIP / VAR / www / apache / acessar * logyour resultado é: by_date, 2012-5-3 , 11TOTAL_LINE, 11IP_BY_URL, / favicon.ico, 192.168.0.254,2IP_BY_URL, / favicon.ico, 192.168.0.35,2IP_BY_URL, /, 74.125.18.162,16.15.18.162,1IPIP_BY_URL, /, 192.168.0.254.168.0.254,168.0.254,1IP_BY_URL, /, 192.168.0.355by_status , 200.7by_status, 404,4by_dist, desconhecido, 11bytes_by_ip, 74.125.18.162,1515.18.162.151bytes_by_ip, 192.168.0.254.168.0.254.168.0.254.168.0.254.168.0.254.168.0.254.168.0.25.168.0.0.35,168.0.35.1093by_url, / favicon.ico, 4by_url, /, 7by_os, desconhecido, 11week_browser, 3, desconhecido, 11by_referer, -, 11by_browser, desconhecido, 11by_ip, 74.125.18.162,1by_ip, 192.168.0.254,3by_ip, 192.168.0.35,7by_agent, "Mozilla / 5.0 (X11; Ubuntu; Linux X86_64; RV: 12.0) Geco / 20100101 Firefox / 12.0 , gzip (gfe) (via translate.google.com) ", 1by_agent, mozilla / 5.0 (x11; ubuntu; linux x86_64; rv: 12.0) geco / 20100101 Firefox / 12.0.10by_hour, 9,3by_hour, 11 , 1by_hour, 12,3by_country ,, 10by_count Ry, nós, 1well Eu acho que não funciona porque você primeiro precisa buscar o arquivo de dados geoip: wget -o- "http://www.maxmind.com/download/geoip/database/geolitecountry/geoip.dat.gz "| ZCAT> /usr/local/data/geoip.datof Course, este é o banco de dados Geolite, eu não incluo os dados na embalagem, já que o GeoIP deve ser atualizado com frequência para ficar acurativo.Default Caminho para o GeoIP é dados / geoip.datuse Como um scriptspeed shoot é, de fato, um modelo de como usar o Yahi como um módulo: #! / bin / bin / bin pythonfrom archery.bow import hankyu como _dictfrom yahi importação de importação, shotfrom datetime importar datetimecontext = entalhe () date_formater = lambda dt : "% s-% s-% s"% (dt.year, dt.month, dt.day) Context.Output (Shoot (Contexto, Dados Lambda: _DICT ({'BY_Country': _DICT ({DADOS _ ']: 1}),' BY_DATE ': _DICT ({DATE_FORMATATER (data ): 1}), 'by_hour': _dict ({Data . Hora: 1}),' By_OS ': _DICT ({Data : 1}), 'BY_DIST': _DICT ({Data : 1}),' BY_BROWSER ': _DICT ({DADOS _ BROWER_NAME']: 1} ), 'By_IP': _DICT ({Dados : 1}),' BY_STATUS ': _DICT ({Dados : 1}),' BY_URL ': _DICT ({Data : 1}), 'BY_AGENT': _DICT ({Data : 1}), 'By_REferer': _DICT ({DADOS : 1}),' IP_BY_URL ': _DICT ({Data : _DICT ({Dados : 1})}), 'BYTES_BY_IP': _DICT ({Data ' ]: int (dados )}), 'Week_Browser': _dict ({Data . Dia da semana (): _DICT ({Data : 1})}),' Total_line ': 1,}),) Installasy como: pip install yahior: easy_install yahirecommanded uso- para agregação de log básico, eu recomendo o uso de linha de comando; - para uma métrica de tiro eu recomendo um console interativo (BPYTHON ou IPYTHON); Para métricas específicas ou filtros elaborados, recomendo usando a página inicial da API.PRODUCT

Yahi. Software Relacionado