我们在进行服务器和网站运维的时候,如果出现故障或者是分析搜索引擎或者网站访客行为,有时候我们是通过统计工具(比如cnzz 百度统计)分析的,但是有些更高级的方式是我们直接进行服务器日志分析。这里需要用到服务器日志分析软件工具,目前有提供的日志分析软件还是有很多的,我们大家都使用的哪一款?服务器日志分析软件或者在线工具,都是根据我们常用的WEB环境导出或者在线生成的LOG日志文件,然后进行的可视化数据分析。会区别开各个时间节点,访客、爬虫的行为,有些基础的用户可能在需要的时候看看LOG日志文件就可以,如果深入分析的话会需要一款辅助的日志分析工具。
Webalizer,采用C语言编写的,具有很高的运行效率,每秒钟可以分析10000条数据记录。有人进行测试过,如果分析40M的日志文件,只需要十几秒。Webalizer日志工具是一款高效的、免费的web服务器日志分析程序。
Webalizer日志工具会将分析结果以HTML文件格式保存,我们可以很方便的通过web进行浏览,webalizer支持标准的一般日志文件格式(Common Logfile Format)。
GoAccess,一款来自国外的免费开源可部署在服务器端实现实时日志分析的工具。而且GoAccess日志分析可以实现实时可视化WEB显示,这个优秀的交互功能比有些仅仅是数据化显示更为体验友好。GoAccess可以实现WEB浏览器端HTML、CSV、JSON报告,比较适合有需要强化运维能力和数据分析的项目。
GoAccess采用C语言编写,可实现毫秒级的更新,支持Apache, Nginx, Amazon S3, Elastic Load Balancing, CloudFront等WEB日志格式。可以实现漂亮的终端以及 bootstrap 风格控制面板。在这篇文章中,笔者就和大家一起探索GoAccess日志软件的部署和功能。
Analog,也是一款用来快速处理日志的开源日志分析工具。同样具有很高的效率,不过这款工具生成的日志结果不够美观,analog可以读取gz格式压缩的日志文件,并且支持读取多个文件。Analog下载安装和进行必要配置后,直接运行analog即可,也可以指定相应的启动参数来改变输出文件的内容块。一般地,会使用crontab来设置一个指定的时间去运行该程序。
LOGalyze,一款来自国外的面向用户的开源服务器日志和监控日志工具。支持Windows和Linux系统,可以用于收集数据之后,然后针对程序搜索找到所需要的信息。一般这款工具国外的使用的多,但是感觉不是太适合我们国内用户的使用习惯。
LOGalyze 配置过程也稍微复杂一些,然后我们在 LOGalyze 的 Web 界面中,运行动态报告,并将其导出到 Excel 文件、PDF 文件或其他格式。这些报告结果是基于 LOGalyze 后端管理的多维统计信息。
Papertrail,是一款Windows系统的日志分析软件工具。软件可以支持自动扫描日志数据。Papertrail扫描日志数据时,可以选择希望扫描结果显示的信息。例如,可以选择扫描是否包含IP地址,电子邮件地址, GUID/UUID,HTTP(s)URL,域,主机,文件名和引用文本等。