修改tomcataccess日志格式

[15/Mar/2019:23:57:32 +0800] 192.168.200.78 10.10.43.12 6A0ABEC0C2BE46507278C0B65D3FC992 HTTP/1.1 POST /peopleCredit/zxNotify 200 7 264 http-bio-8080-exec-2

sed -i ‘s/^.pattern=.%b”/pattern=”%t %h %A %S %H %m %U %s %B %D %I %q”/g’ /opt/tomcat7/conf/server.xml

pattern参数

%a - 远程IP地址
%A - 本地IP地址
%b - 发送的字节数(Bytes sent), 不包括HTTP headers的字节，如果为0则展示'-'
%B - 发送的字节数(Bytes sent), 不包括HTTP headers的字节
%h - 远程主机名称(如果resolveHosts为false则展示IP)
%H - 请求协议
%l - 远程用户名，始终为'-'(Remote logical username from identd)
%m - 请求的方法(GET, POST等)
%p - 接受请求的本地端口
%q - 查询字符串，如果存在，有一个前置的'?'
%r - 请求的第一行(包括请求方法和请求的URI)
%s - response的HTTP状态码(200,404等)
%S - 用户的session ID
%t - 日期和时间，Common Log Format格式
%u - 被认证的远程用户, 不存在则展示'-'
%U - 请求URL路径
%v - 本地服务名
%D - 处理请求的时间，单位为毫秒
%T - 处理请求的时间，单位为秒
%I - 当前请求的线程名(can compare later with stacktraces)

提供Grok过滤日志字段https://grokdebug.herokuapp.com/

[%{HTTPDATE:timestamp}] %{IPORHOST:clientip} %{IPV4:localip} %{NOTSPACE:session} HTTP/%{NUMBER:httpversion} %{WORD:verb} %{NOTSPACE:request} %{NUMBER:response} %{NUMBER:bytes} %{NUMBER:processingtime} %{JAVAFILE:thread}

修改logstash提供grok插件过滤日志

filter {
    if [fields][appname] == "tomcataccess"{
    grok {
        match => {
            "message" => ["message","[%{HTTPDATE:timestamp}] %{IPORHOST:clientip} %{IPV4:localip} %{NOTSPACE:session} HTTP/%{NUMBER:httpversion} %{WORD:verb} %{NOTSPACE:request} %{NUMBER:re犀利士
sponse} %{NUMBER:bytes} %{NUMBER:processingtime} %{JAVAFILE:thread}"]
                 }
         }
    date {
       match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
       }
    mutate{
       convert => {"response" => "integer"}
       convert => {"bytes" => "integer"}
       convert => {"processingtime" => "integer"}
         }
    }