yahi

yahi est un analyseur de log polyvalent offrant extracteurs par défaut pour apache / lighttpd.
utilisation de la ligne de commande
Exemple de données analysées avec yahi: http://wwwstat.julbox.fr/
Utilisation la plus simple est:
speed_shoot -g / usr / local / données / geoip / var / www / apache / accès * journal locale
il retournera un JSON sous la forme:
{
& Nbsp; "by_date": {
& Nbsp; "03/05/2012": 11
& Nbsp;},
& Nbsp; "total_line": 11,
& Nbsp; "ip_by_url": {
& Nbsp; "/ favicon.ico": {
& Nbsp; "192.168.0.254": 2,
& nbsp; "192.168.0.35": 2
& Nbsp;},
& Nbsp; "/": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 1,
& nbsp; "192.168.0.35": 5
& Nbsp;}
& Nbsp;},
& Nbsp; "by_status": {
& Nbsp; "200": 7,
& Nbsp; "404": 4
& Nbsp;},
& Nbsp; "by_dist": {
& Nbsp; "inconnu": 11
& Nbsp;},
& Nbsp; "bytes_by_ip": {
& Nbsp; "74.125.18.162": 151,
& Nbsp; "192.168.0.254": 489,
& Nbsp; "192.168.0.35": 1093
& Nbsp;},
& Nbsp; "by_url": {
& Nbsp; "/ favicon.ico": 4,
& Nbsp; "/": 7
& Nbsp;},
& nbsp; »by_os": {
& Nbsp; "inconnu": 11
& Nbsp;},
& Nbsp; "week_browser": {
& Nbsp; "3": {
& Nbsp; "inconnu": 11
& Nbsp;}
& Nbsp;},
& Nbsp; "by_referer": {
& Nbsp; "-": 11
& Nbsp;},
& Nbsp; "by_browser": {
& Nbsp; "inconnu": 11
& Nbsp;},
& Nbsp; "by_ip": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 3,
& nbsp; "192.168.0.35": 7
& Nbsp;},
& Nbsp; "by_agent": {
& Nbsp; "Mozilla / 5.0 (X11; x86_64 Linux;; Ubuntu rv: 12,0) Gecko / 20100101 Firefox / 12,0, gzip (GFE) (via translate.google.com)": 1,
& Nbsp; "Mozilla / 5.0 (X11; x86_64 Linux;; Ubuntu rv: 12,0) Gecko / 20100101 Firefox / 12,0": 10
& Nbsp;},
& Nbsp; "by_hour": {
& Nbsp; "9": 3,
& Nbsp; "10": 4,
& Nbsp; "11": 1,
& Nbsp; "12": 3
& Nbsp;},
& Nbsp; "by_country": {
& Nbsp; "": 10,
& Nbsp; "US": 1
& Nbsp;}
}
Si vous utilisez:
speed_shoot -f csv -g / usr / local / données / geoip / var / www / apache / accès * journal locale
Votre résultat est:
by_date, 2012-5-3,11
total_line, 11
ip_by_url, / favicon.ico, 192.168.0.254,2
ip_by_url, / favicon.ico, 192.168.0.35,2
ip_by_url, /, 74.125.18.162,1
ip_by_url, /, 192.168.0.254,1
ip_by_url, /, 192.168.0.35,5
by_status, 200,7
by_status, 404,4
by_dist, inconnu 11
bytes_by_ip, 74.125.18.162,151
bytes_by_ip, 192.168.0.254,489
bytes_by_ip, 192.168.0.35,1093
by_url, / favicon.ico, 4
by_url, /, 7
by_os, inconnu 11
week_browser, 3, inconnu 11
by_referer, -, 11
by_browser, inconnu 11
by_ip, 74.125.18.162,1
by_ip, 192.168.0.254,3
by_ip, 192.168.0.35,7
by_agent, "/ 5.0 Mozilla (X11; x86_64 Linux;; Ubuntu rv: 12,0) Gecko / 20100101 Firefox / 12,0, gzip (GFE) (via translate.google.com)", une
by_agent, Mozilla / 5.0 (X11; x86_64 Linux;; Ubuntu rv: 12,0) Gecko / 20100101 Firefox / 12.0,10
by_hour, 9,3
by_hour, 10,4
by_hour, 11,1
by_hour, 12,3
by_country ,, 10
by_country, États-Unis, une
Eh bien, je suppose, il ne fonctionne pas parce que vous devez d'abord chercher fichier de données GeoIP:
wget -O- "http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz" | zcat> /usr/local/data/GeoIP.dat
Bien sûr, ce est la base de données GeoLite, je ne comprend pas les données dans le paquet depuis GeoIP doit être souvent mis à jour pour rester précis.
chemin par défaut pour les données GeoIP est / GeoIP.dat
Utiliser comme un script
tournage de vitesse est en fait un modèle de la façon de l'utiliser comme yahi le module:
#! / Usr / bin / env python
de archery.bow importation Hankyu que _dict
de yahi importation cran, tirer
datetime importation de datetime
context = encoche ()
date_formater = lambda dt: "% s-% s-% s"% (dt.year, dt.month, dt.day)
context.output (
& Nbsp; tirer (
& Nbsp; contexte,
& Nbsp; des données lambda: _dict ({
& Nbsp; »by_country ': _dict ({data [' _ pays»]: 1}),
& Nbsp; »by_date ': _dict ({date_formater (data [' _ datetime ']): 1}),
& Nbsp; »by_hour ': _dict ({. Data [' _ datetime '] d'heure: 1}),
& Nbsp; »by_os ': _dict ({data [' _ os_name ']: 1}),
& Nbsp; »by_dist ': _dict ({data [' _ dist_name ']: 1}),
& Nbsp; »by_browser ': _dict ({data [' _ browser_name ']: 1}),
& Nbsp; »by_ip ': _dict ({data [' ip ']: 1}),
& nbsp; »by_status ': _dict ({data [' état ']: 1}),
& Nbsp; »by_url ': _dict ({data [' uri ']: 1}),
& Nbsp; »by_agent ': _dict ({données [" agent "]: 1}),
& Nbsp; »by_referer ': _dict ({data [' referer ']: 1}),
& Nbsp; »ip_by_url ': _dict ({data [' uri ']: _dict ({data [' IP ']: 1})}),
& Nbsp; »bytes_by_ip ': _dict ({data [' IP ']: int (données [' octets '])}),
& Nbsp; »week_browser ':. _dict ({Data [' _ datetime '] en semaine ():
& Nbsp; _dict ({données ["_ browser_name"]: 1})}),
& Nbsp; »total_line ': 1,
& Nbsp;}),
& Nbsp;),
)
Installation
facile que:
pip installer yahi
ou bien:
easy_install yahi
utilisation Recommandé
- Pour l'agrégation de base de journal, je ne vous recommande en ligne de commande;
- Pour une métriques de tir Je recommande une console interactive (ou de bpython ipython);
. - Pour les métriques spécifiques ou des filtres élaborés Je recommande utilisant l'API

Exigences :

• Python