作者:熊茂祥
时间:2016-07-06 17:05
分类:ROS
标签:ros, url, 记录, 采集, qq
附件:url日志采集器演示版.rar
内容:
程序名称：用户URL日志收集器
程序用途：用于集中接收ROS发送用户URL，QQ日志。并将接受的日志内容进行存储方便之后追踪查询。（需ROS6X版本）
程序价格：4000元（永久授权，绑定硬件。内测价格）
内测时间：2015.10.1开始，结束时间待定。
开始销售时间：2015.10.1
运行环境：WIN2003/2008/2012，MSSQL2000/2005/2014，.net4运行库
当前已实现功能：
1.使用tzsp协议集中接收ROS发来的用户URL，QQ日志。（可一对多，VB.NET性能优化后效果显著。）
2.将接收到的日志内容存储至数据库。
3.数据库将按时间和日期进行分表及分库存放。（日志每100台电脑，记录24小时，URL大约需要500M空间。QQ大约需要30M空间）
4.记录URL的内容包括原MAC，原IP，目的IP，目的URL，GET或者POST行为，Referer（URL来源），User-Agent（浏览器名称），COOKIE记录（这个正在考虑是否开放）。
5.记录QQ的内容包括原MAC，原IP，QQ号码。
6.能采集到部分手机APP应用信息，且能正常识别手机APP应用名称。（这属于意外收获，但不确保采集效果和采集正确程度。）
7.支持access和mssql两种数据库记录方式。（100以上终端建议使用mssql）
8.支持多线程工作并自动侦测每个线程工作状态并显示。
9.支持数据库文件组，可以选择数据库容量从4G-1800G，自动按照容量生成合适数量的URL和QQ文件组。
重要提示：
1.本程序仅能采集并解码HTTP协议的的URL，且默认对接脚本仅采集80端口的HTTP。
2.本程序采集QQ方式不一定兼容所有移动设备客户端，目前仅测试IPHONE5，IPHONE6P，ME525可以正常采集到QQ号码。
3.本程序只能采集到小于1500的数据包内容，由于tzsp暂不支持分片传输，本程序将无法采集到的大于1500的数据包内容，暂时无法解决！通常get内容不会大于1500，但是post内容在某些情况下会大于1500导致无法正常采集到这些内容。如果在下级设备做了包分片，将可以正确采集到这些信息。
4.本程序只支持与ROS6X使用TZSP对接，可以跨三层对接。不具备ROS6X的环境请勿购买。目前无支持其他对接方式的计划 。
已发现BUG:当数据库容量达到10G，程序的采集工作将出现异常。（经过核实，使用企业版则无10G限制。）
目前已计划完成功能：
1.开发日志内容搜索程序，按需求对日志进行搜索追踪。
以后可能会完成的功能：
1.对记录到数据库的日志内容进行AES，DES或者混合加密。确保数据库泄漏也不会造成用户隐私泄露。(由于过于消耗CPU，取消计划）
内测接收端环境：CPU为笔记本I5（3337U-1.7G），内存为4G，工作在ESXI中。
内测发送端环境：CCR1036(版本6.31)，800+终端在线的压力测试。
运行参数：1个QQ采集线程，4个URL采集线程，5线程同时工作。记录到MSSQL数据库中。
内测环境结果：程序连续运作超过1个周期（超过24小时）无任何异常。累计运作30个小时左右，URL数据库占用7.6G左右空间。
VC运行库：http://www.7edown.com/soft/down/soft_11510.html
运行本程序还必须安装.NET4否则无法正常使用。双击列表框内的信息可复制选中行内容，可以粘贴出来查看完整内容。演示版不提供COOKIE信息查看。
更新历史： 版本号1.8（内测）
时间：2016.7.6
更新内容：修复各种异常退出的BUG。调整初始化数据库事务记录参数，优化数据库记录效率。着手开发查询端程序。
更新历史： 版本号1.7（内测）
时间：2016.6.30
更新内容：修复2个采集模块校验不严格导致长时间运行会异常退出的BUG。
更新历史： 版本号1.6（内测）
时间：2015.10.2
更新内容：优化浏览器中文（UTF-8编码）识别模块。
更新历史： 版本号1.5（封闭）
时间：2015.9.24
更新内容：调整access工作线程为2个，确保最低出错概率。调整mssql工作线程为5个，确保以最大性能去适应大型网络环境。
更新历史： 版本号1.4（封闭）
时间：2015.9.23
更新内容：优化access多线程性能和纠错。强化mssql纠错，即使在程序工作途中数据表被删除，也会自动重建，自动恢复工作。取消QQ和URL缓存列表的显示，提高程序在高负荷的情况下效率。添加工作线程状态监测并显示。
更新历史： 版本号1.3（封闭）
时间：2015.9.21
更新内容：为浏览器中文标识识别添加纠错判断及正则式过滤，为QQ号码转换添加纠错判断，避免出现特殊符号导致程序异常退出。MSSQL插入记录语句改用多线程。开始投入实际环境里开始稳定性测试。
更新历史： 版本号1.2（封闭）
时间：2015.9.20
更新内容：让mssql记录也支持4线程工作，提高在多核CPU里的工作效率。加强纠错判断过程，确保尽可能长期无人值守运作。
更新历史： 版本号1.1（封闭）
时间：2015.9.19
更新内容：正式支持MSSQL数据库。添加记录模式设置模块，允许用户选择access或者mssql记录模式，允许用户自定义mssql的IP，帐号，密码。可以对接网络数据库。修正部分记录BUG，添加记录内容正则匹配模块，防止记录特殊字符导致程序异常。加强记录模块自我恢复和诊断功能，在记录第一次出现错误时将自动重试1次，如果重试1次仍然错误，将完整错误内容记录到程序目录error.txt文件中以便排查具体错误细节，然后跳过该错误继续工作。
更新历史： 版本号1.0（封闭）
时间：2015.9.13
更新内容：激活程序模块继续努力加强中。修正POST行为无法正确识别的BUG，加强COOKIE获取能力，优化获取COOKIE性能。添加获取POST内容模块，经过测试能够有概率获取DZ类论坛回贴的文字内容，在开启COOKIE获取的情况下默认启用。优化程序在高负载时的处理效率。支持采集被分片后的包。支持4线程同时工作，充分利用多核CPU。正在考虑支持MSSQL数据库。
更新历史： 版本号0.9（封闭）
时间：2015.8.20
更新内容：添加激活程序模块，激活流程尚未完成。更新图片和框架URL匹配模块，优化过滤效果。
更新历史： 版本号0.8（封闭）
时间：2015.7.27
更新内容：调整记录数据库文件存放目录，避免和程序本身放在一起。
更新历史： 版本号0.7（封闭）
时间：2015.5.27
更新内容：修复IPAD设备无法正确捕获到QQ号码的BUG。（现已能正确识别QQ号码，因为没有找到合适的精确判断客户端类型方式，暂时显示为IPHONE客户端。）添加识别后的判断流程码，方便在无法正确分析QQ号码时对判断流程查找BUG。
更新历史： 演示版（演示版）
时间：2015.5.26
更新内容：可以采集URL信息及QQ信息，演示版不提供记录到数据库功能。
更新历史： 版本号0.6（封闭）
时间：2015.5.26
更新内容：增强安卓系统QQ客户端捕获率。支持最小化到托盘进行后台工作。
更新历史： 版本号0.5（封闭）
时间：2015.5.25
更新内容：调整UI布局，增加选项说明，优化部分判断过程，减少CPU占用。
更新历史： 版本号0.4（封闭）
时间：2015.5.24
更新内容：开启浏览器解析后支持中文内容，解析后将正确显示手机上的客户端类型，比如手机淘宝客户端，支付宝钱包，大众点评，百度输入法等...
更新历史： 版本号0.3（封闭）
时间：2015.5.22
更新内容：允许捕获非电脑QQ客户端记录，比如手机QQ客户端，平板QQ客户端。但是仅限用户在QQ客户端中执行过某些操作才能够捕获到。仅仅使用QQ客户端聊天不一定能捕获到。（但是能捕获到的概率还是很高的。）支持将浏览器解析后简化，方便人工从记录中识别浏览器和减少数据库占用空间。
更新历史： 版本号0.2（封闭）
时间：2015.5.21
更新内容：用VB.NET重写，已完成基本框架。剩下开始性能优化。
更新历史： 版本号0.1（封闭）
时间：2015.5.18
更新内容：添加记录Referer（URL来源），User-Agent（浏览器名称）。