龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：河北农业大学
摘要：本发明公开了一种用于网络行为分析的辖区网站敏感信息快速爬取方法，属于信息检索和数据挖掘技术领域。通过Scrapy框架实现，1获取辖区网站信息，并分为政府类型网站和其他类型网站；2一次性读取辖区网站的链接和数据库中记录的爬取次数信息；3对辖区网站链接进行清洗和验证：在爬虫时，对链接域名不完整或缺失协议字段的链接不进行访问，并对不完整或缺失的链接进行审核和补全；4将处理过的链接送入爬虫程序，分别获取政府类型网站和其他类型网站的文本内容；5设置定时任务，实现增量爬取。本发明通过对政府类型网站和其他类型网站的区分和差异化处理，能够快速、全面的爬取辖区网站内容，实现辖区网站敏感信息的高效监测。
主权项：1.一种用于网络行为分析的辖区网站敏感信息快速爬取方法，通过Scrapy框架实现，其特征在于，包括以下步骤：S1、从数据库中获取辖区网站信息，并将辖区网站分为政府类型网站和其他类型网站两种；S2、根据数据库中已有的辖区网站基本数据，一次性读取辖区网站的链接和数据库中记录的爬取次数信息；S3、对辖区网站链接进行清洗和验证：在爬虫时，对链接域名不完整或缺失协议字段的链接不进行访问，并对不完整或缺失的链接进行审核和补全；S4、将步骤S3处理过的链接送入爬虫程序，分别获取政府类型网站和其他类型网站的文本内容；S5、基于APScheduler，设置定时任务，每天定时执行步骤S1-S4，通过与数据库中的现有记录进行比较，实现增量爬取更新内容。
全文数据：
权利要求：
百度查询： 河北农业大学 一种用于网络行为分析的辖区网站敏感信息快速爬取方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号