买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜深圳市睿科兴科技有限公司申请的专利一种数据抓取方法、装置、存储介质及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117972182B 。

龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410133270.3，技术领域涉及：G06F16/951；该发明授权一种数据抓取方法、装置、存储介质及电子设备是由石梦楠;周元方;袁洁辉;张迪设计研发完成，并于2024-01-30向国家知识产权局提交的专利申请。

本一种数据抓取方法、装置、存储介质及电子设备在说明书摘要公布了：本申请提供一种数据抓取方法、装置、存储介质及电子设备，涉及互联网技术领域。其中方法包括：获取用户的数据抓取请求信息，确定待抓取数据以及待抓取数据所在的待抓取网站；根据待抓取数据对应的数据特征以及待抓取网站对应的网站特征，确定对待抓取数据的第一抓取任务；对第一抓取任务进行分解，确定多个爬虫程序在时间轮节点上的第二抓取任务；控制各爬虫程序根据第二抓取任务对待抓取数据进行数据抓取。针对大规模的待抓取数据，本申请通过数据特征和网站特征快速制定初步的第一抓取任务，再通过时间轮为多个爬虫程序合理分配第二抓取任务，实现多个爬虫程序协同高效抓取数据，从而能够有效提高数据抓取的效率。

本发明授权一种数据抓取方法、装置、存储介质及电子设备在权利要求书中公布了：1.一种数据抓取方法，其特征在于，所述方法包括：获取用户的数据抓取请求信息，确定待抓取数据以及所述待抓取数据所在的待抓取网站；根据所述待抓取数据对应的数据特征以及所述待抓取网站对应的网站特征，确定对所述待抓取数据的第一抓取任务，所述数据特征包括结构特征以及动态特征；所述根据所述待抓取数据对应的数据特征以及所述待抓取网站对应的网站特征，确定对所述待抓取数据的第一抓取任务，包括：根据所述待抓取数据对应的数据特征，确定所述待抓取数据的第一数据抓取模式；根据所述待抓取网站对应的网站特征，确定所述待抓取网站的第二数据抓取模式；整合所述第一数据抓取模式以及所述第二数据抓取模式，确定对所述待抓取数据的第一抓取任务；所述根据所述待抓取数据对应的数据特征，确定所述待抓取数据的第一数据抓取模式，包括：根据所述结构特征确定所述待抓取数据的第一初始数据抓取模式，所述结构特征包括数据格式特征以及嵌套层级特征，所述第一初始数据抓取模式是指根据所述待抓取数据的静态结构特征，确定的用于抓取所述待抓取数据的初始抓取方式和模式，所述静态结构特征包括存储格式以及组织结构；根据所述动态特征对所述第一初始数据抓取模式进行更新，得到所述待抓取数据的第一数据抓取模式，所述动态特征包括数据存储特征、动态加载特征以及内容更新特征，所述第一数据抓取模式是指根据所述待抓取数据的所述静态结构特征以及数据内容变动的所述动态特征，确定的用于抓取该类数据的综合抓取方式和模式；所述根据所述待抓取网站对应的网站特征，确定所述待抓取网站的第二数据抓取模式，包括：计算所述待抓取网站的服务器性能分值以及数据相关分值，所述服务器性能分值是指对所述待抓取网站服务器的处理能力进行评估后的量化指标，所述数据相关分值是指对待所述抓取网站中数据的相关度和价值进行评估后的量化指标；获取所述待抓取网站的限制带宽，使用所述服务器性能分值以及所述数据相关分值对所述限制带宽进行加权计算，得到所述待抓取网站的抓取速率；根据所述抓取速率确定所述待抓取网站的第二数据抓取模式；对所述第一抓取任务进行分解，确定多个爬虫程序在时间轮节点上的第二抓取任务；控制各所述爬虫程序根据所述第二抓取任务对所述待抓取数据进行数据抓取。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳市睿科兴科技有限公司，其通讯地址为：518100 广东省深圳市宝安区新安街道上川社区35区海滨花园B2栋502；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。