作者:熊茂祥
时间:2019-12-18 00:00
分类:技术文档
标签:ros, syslog, nat, 记录, 链接
内容:
新建CONLOG项目(自用)
由于某些业务点需要NAT日志审计，特此建立该项目。
该项目使用GOLANG开发的CONLOG后台，并将数据记录到MYSQL中。
CONLOG项目以实现以下功能：
1.可记录源MAC，源IP，目的IP，协议，源端口，目的端口，进入网口，出去网口。
2.可解析目的IP的地理位置及运营商。
3.可按日期，时间搜索各种范围日志，也可以按记录到的MAC,IP,端口等字段搜索。
4.支持多路由汇聚记录后分开查询。
5.可调节MYSQL记录缓存池大小来优化不同场景的效率。
6.可过滤不正常的日志数据包来防止出现程序异常。（比如非日志内容主动发往该程序端口，将不会被记录和解析。）
7.允许自定义最大存储天数，可自动清除旧数据。
8.可将数据存储至内存，无需写盘，适合短期存储。
以上状态图为90人在线上网的网吧环境，运行一周大概会占用1.7g的数据库空间。
之后可能会按需扩展其他功能。
更新版本：0.5
时间：2019.12.17
更新内容：新增https网页查询功能，可以在全局范围内搜索含有指定特征的内容，并统计与特征内容匹配的次数。匹配次数较低的记录可通过调整参数来过滤。该功能支持URL传参，可用URL调整最终过滤结果，并选择是否将最终结果存储到指定特征专用列表，以便其他程序调用结果数据。计划用于多维度、高精度游戏IP库的优化和补充。
更新版本：0.4
时间：2019.12.02
更新内容：修复工作在3层网络环境里获取不到MAC导致程序崩溃的BUG。
更新版本：0.3
时间：2019.12.01
更新内容：允许自定义最大存储天数，超过指定存储天数的数据将会被自动删除。允许将数据存储至内存，这样更适合短期存储和长期运作。
更新版本：0.2
时间：2019.11.03
更新内容：添加命令行参数功能，允许通过命令行参数自定义服务端口，MYSQL缓存池大小，IP定位解析开关功能。优化性能。