awk 进行php日志累计报错统计

问题

• 线上服务器一百多台
• 通过tail -f /var/log/error_web* 方式来查看，速度滚动刷新太快，而且不方便定位问题
• 按照前辈的『观察法』，作为新人实在是有难度，所以使用awk命令对输出格式格式化了一下。

思路

将每一行tail得到的日志通过awk命令进行处理，利用awk的BEGIN全局的特性来累计报错数量。

方案

我们将从执行tail命令开始的所有报错的接口地址进行了累计，每一次报错，都将累计的报错数量输出在前，这样可以快速看出到底哪个接口数据量报错比较大。

效果如下

错误次数：33 链接：[REQUEST_URI:xxxxxxxxxxxxxx
[04-Jul-2017 18:32:20 PRC] 95169011-595b6eb3b12291.18851925 PHP Warning:

我们来看下log.sh文件的代码

tail -f /var/log/error_web* | grep . | grep -v '==>' |
awk '
# 定义全局变量，是awk命令的BEGIN用法，还有一个END可以搜下
BEGIN{
    # 每隔接口报错的次数
    errorTimes[0] = 0;
    # 错误详情
    errorDetails[0] = 0;
    # 总的错误次数
    errorCount = 0;
}
{
    # 格式化当前行的内容，得到URL
    # 获取最后的一个字段，这里可以搜下awk命令的NF内置变量
    url = $NF;
    # 将得到的url之后的参数拆掉
    split(url, urlFields, "?");
    url = urlFields[1];
    # 报错数量+1
    errorTimes[url] = errorTimes[url] + 1;
    print("错误次数："errorTimes[url]" 链接："url);
    # 这里是为了打印错误的详情
    print($0);
    print("");
    # 增加总次数
    errorCount = errorCount + 1;

}
'