龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：一网互通(北京)科技有限公司
摘要：本发明实施例中提供了一种基于增量爬虫数据的实时监控与预警方法、装置及电子设备，属于数据处理技术领域，该方法包括：把需要监控的项目任务添加到数据记录表T1中；读取数据记录表T1，根据增量模式查询每个爬虫项目上一日的数据更新情况；从实时监控表T2中读取最新的增量数据并添加到监控邮件附件表T4中；查看当前时间看是否是月初第一天，如果是，则从监控历史表T3中读取上个月整月的数据量并添加到监控邮件附件表T4中；对异常的项目打标签输出到监控邮件报警附件表T5以发送报警邮件附件，对于无异常的情况，则发送无异常邮件。本发明提高了爬虫数据监控的效率和灵活性。
主权项：1.一种基于增量爬虫数据的实时监控与预警方法，其特征在于，包括：把需要监控的项目任务添加到数据记录表T1中，所述数据记录表T1包含所属项目、网站名、网站链接、sql库名、sql表名、增量模式和报警天数；读取数据记录表T1，根据增量模式查询每个爬虫项目上一日的数据更新情况，得到最新增加入库的数据量后，根据各个项目的情况，分别更新到实时监控表T2中，同时将最新的增量数据量同时更新到监控历史表T3中；从实时监控表T2中读取最新的增量数据并添加到监控邮件附件表T4中；查看当前时间看是否是月初第一天，如果是，则从监控历史表T3中读取上个月整月的数据量并添加到监控邮件附件表T4中；在获取所有的爬虫项目新增数据量后，根据不同的项目设置的每日预警极限值和无增量天数极限值，对异常的项目打标签输出到监控邮件报警附件表T5以发送报警邮件附件，对于无异常的情况，则发送无异常邮件，并附监控邮件附件表T4到邮件中，以便于在需要的时候直接打开附件看所有项目的每日增量情况。
全文数据：
权利要求：
百度查询： 一网互通(北京)科技有限公司 基于增量爬虫数据的实时监控与预警方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号