背景介绍
造轮子的原因?
- filebeat 在我司日志采集的时候 CPU 占用很高
- 采集日志到 clickhouse 需要 filebeat 和类似 kafka 的工具配合使用,维护成本变高
- 市面上没有其他 log 文件直接采集到 clickhouse 的工具
稳定性怎么样?
- 截至这篇文章发表,已经稳定在我司线上跑了一周了
log2ck
此工具能将monolog标准log直接通过tcp协议实时写入clickhouse。如果你会写正则,其他标准化log也能支持。
项目地址:https://github.com/hisune/log2ck 欢迎star
特性
- 极简代码
- 高性能(在线上业务中对比cpu占用仅为
filebeat的1/20) - 无第三方服务依赖(例如队列等)
- 配置化
- 定制化(...

