让网维变得简单,快速,准确。拒绝浪费时间,解放出更多的时间陪陪家人。 注册 | 登陆

用户URL日志收集器(演示版提供下载)

程序名称:用户URL日志收集器
程序用途:用于集中接收ROS发送用户URL,QQ日志。并将接受的日志内容进行存储方便之后追踪查询。(需ROS6X版本)
程序价格:4000元(永久授权,绑定硬件。内测价格
内测时间:2015.10.1开始,结束时间待定。
开始销售时间:2015.10.1
运行环境:WIN2003/2008/2012,MSSQL2000/2005/2014,.net4运行库
当前已实现功能:
1.使用tzsp协议集中接收ROS发来的用户URL,QQ日志。(可一对多,VB.NET性能优化后效果显著。)
2.将接收到的日志内容存储至数据库。
3.数据库将按时间和日期进行分表及分库存放。(日志每100台电脑,记录24小时,URL大约需要500M空间。QQ大约需要30M空间)
4.记录URL的内容包括原MAC,原IP,目的IP,目的URL,GET或者POST行为,Referer(URL来源),User-Agent(浏览器名称),COOKIE记录(这个正在考虑是否开放)。
5.记录QQ的内容包括原MAC,原IP,QQ号码。
6.能采集到部分手机APP应用信息,且能正常识别手机APP应用名称。(这属于意外收获,但不确保采集效果和采集正确程度。)
7.支持access和mssql两种数据库记录方式。(100以上终端建议使用mssql)
8.支持多线程工作并自动侦测每个线程工作状态并显示。
9.支持数据库文件组,可以选择数据库容量从4G-1800G,自动按照容量生成合适数量的URL和QQ文件组。

重要提示:
1.本程序仅能采集并解码HTTP协议的的URL,且默认对接脚本仅采集80端口的HTTP。
2.本程序采集QQ方式不一定兼容所有移动设备客户端,目前仅测试IPHONE5,IPHONE6P,ME525可以正常采集到QQ号码。

3.本程序只能采集到小于1500的数据包内容,由于tzsp暂不支持分片传输,本程序将无法采集到的大于1500的数据包内容,暂时无法解决!通常get内容不会大于1500,但是post内容在某些情况下会大于1500导致无法正常采集到这些内容。如果在下级设备做了包分片,将可以正确采集到这些信息。
4.本程序只支持与ROS6X使用TZSP对接,可以跨三层对接。不具备ROS6X的环境请勿购买。目前无支持其他对接方式的计划 。

已发现BUG:当数据库容量达到10G,程序的采集工作将出现异常。(经过核实,使用企业版则无10G限制。

目前已计划完成功能:
1.开发日志内容搜索程序,按需求对日志进行搜索追踪。

以后可能会完成的功能:
1.对记录到数据库的日志内容进行AES,DES或者混合加密。确保数据库泄漏也不会造成用户隐私泄露。(由于过于消耗CPU,取消计划)

内测接收端环境:CPU为笔记本I5(3337U-1.7G),内存为4G,工作在ESXI中。
内测发送端环境:CCR1036(版本6.31)
,800+终端在线的压力测试。
运行参数:1个QQ采集线程,4个URL采集线程,5线程同时工作。记录到MSSQL数据库中。
内测环境结果:程序连续运作超过1个周期(超过24小时)无任何异常。累计运作30个小时左右,URL数据库占用7.6G左右空间。

VC运行库:http://www.7edown.com/soft/down/soft_11510.html
运行本程序还必须安装.NET4否则无法正常使用。双击列表框内的信息可复制选中行内容,可以粘贴出来查看完整内容。演示版不提供COOKIE信息查看。

更新历史: 版本号1.8(内测)
时间:2016.7.6
更新内容:修复各种异常退出的BUG。调整初始化数据库事务记录参数,优化数据库记录效率。着手开发查询端程序。

更新历史: 版本号1.7(内测)
时间:2016.6.30
更新内容:修复2个采集模块校验不严格导致长时间运行会异常退出的BUG。

更新历史: 版本号1.6(内测)
时间:2015.10.2
更新内容:优化浏览器中文(UTF-8编码)识别模块。

更新历史: 版本号1.5(封闭)
时间:2015.9.24
更新内容:调整access工作线程为2个,确保最低出错概率。调整mssql工作线程为5个,确保以最大性能去适应大型网络环境。

更新历史: 版本号1.4(封闭)
时间:2015.9.23
更新内容:优化access多线程性能和纠错。强化mssql纠错,即使在程序工作途中数据表被删除,也会自动重建,自动恢复工作。取消QQ和URL缓存列表的显示,提高程序在高负荷的情况下效率。添加工作线程状态监测并显示。

更新历史: 版本号1.3(封闭)
时间:2015.9.21
更新内容:为浏览器中文标识识别添加纠错判断及正则式过滤,为QQ号码转换添加纠错判断,避免出现特殊符号导致程序异常退出。MSSQL插入记录语句改用多线程。开始投入实际环境里开始稳定性测试。

更新历史: 版本号1.2(封闭)
时间:2015.9.20
更新内容:让mssql记录也支持4线程工作,提高在多核CPU里的工作效率。加强纠错判断过程,确保尽可能长期无人值守运作。

更新历史: 版本号1.1(封闭)
时间:2015.9.19
更新内容:正式支持MSSQL数据库。添加记录模式设置模块,允许用户选择access或者mssql记录模式,允许用户自定义mssql的IP,帐号,密码。可以对接网络数据库。修正部分记录BUG,添加记录内容正则匹配模块,防止记录特殊字符导致程序异常。加强记录模块自我恢复和诊断功能,在记录第一次出现错误时将自动重试1次,如果重试1次仍然错误,将完整错误内容记录到程序目录error.txt文件中以便排查具体错误细节,然后跳过该错误继续工作。

更新历史: 版本号1.0(封闭)
时间:2015.9.13
更新内容:激活程序模块继续努力加强中。修正POST行为无法正确识别的BUG,加强COOKIE获取能力,优化获取COOKIE性能。添加获取POST内容模块,经过测试能够有概率获取DZ类论坛回贴的文字内容,在开启COOKIE获取的情况下默认启用。优化程序在高负载时的处理效率。支持采集被分片后的包。支持4线程同时工作,充分利用多核CPU。正在考虑支持MSSQL数据库。

更新历史: 版本号0.9(封闭)
时间:2015.8.20
更新内容:添加激活程序模块,激活流程尚未完成。更新图片和框架URL匹配模块,优化过滤效果。

更新历史: 版本号0.8(封闭)
时间:2015.7.27
更新内容:调整记录数据库文件存放目录,避免和程序本身放在一起。

更新历史: 版本号0.7(封闭)
时间:2015.5.27
更新内容:修复IPAD设备无法正确捕获到QQ号码的BUG。(现已能正确识别QQ号码,因为没有找到合适的精确判断客户端类型方式,暂时显示为IPHONE客户端。)添加识别后的判断流程码,方便在无法正确分析QQ号码时对判断流程查找BUG。

更新历史: 演示版(演示版)
时间:2015.5.26
更新内容:可以采集URL信息及QQ信息,演示版不提供记录到数据库功能。

更新历史: 版本号0.6(封闭)
时间:2015.5.26
更新内容:增强安卓系统QQ客户端捕获率。支持最小化到托盘进行后台工作。

更新历史: 版本号0.5(封闭)
时间:2015.5.25
更新内容:调整UI布局,增加选项说明,优化部分判断过程,减少CPU占用。

更新历史: 版本号0.4(封闭)
时间:2015.5.24
更新内容:开启浏览器解析后支持中文内容,解析后将正确显示手机上的客户端类型,比如手机淘宝客户端,支付宝钱包,大众点评,百度输入法等...

更新历史: 版本号0.3(封闭)
时间:2015.5.22
更新内容:允许捕获非电脑QQ客户端记录,比如手机QQ客户端,平板QQ客户端。但是仅限用户在QQ客户端中执行过某些操作才能够捕获到。仅仅使用QQ客户端聊天不一定能捕获到。(但是能捕获到的概率还是很高的。)支持将浏览器解析后简化,方便人工从记录中识别浏览器和减少数据库占用空间。

更新历史: 版本号0.2(封闭)
时间:2015.5.21
更新内容:用VB.NET重写,已完成基本框架。剩下开始性能优化。

更新历史: 版本号0.1(封闭)
时间:2015.5.18
更新内容:添加记录Referer(URL来源),User-Agent(浏览器名称)。

附件: url日志采集器演示版.rar (198.99 K, 下载次数:2369)

Tags: ros, url, 记录, 采集, qq

« 上一篇 | 下一篇 »

 

发表评论

评论内容 (必填):