买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜一网互通(北京)科技有限公司申请的专利模块化的社交媒体数据采集方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119383098B 。

龙图腾网通过国家知识产权局官网在2025-04-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510000029.8，技术领域涉及：H04L43/02；该发明授权模块化的社交媒体数据采集方法及装置是由刘坤;寇振芳;李蕾;苗宇;纪啸峥设计研发完成，并于2025-01-01向国家知识产权局提交的专利申请。

本模块化的社交媒体数据采集方法及装置在说明书摘要公布了：本发明实施例中提供了一种模块化的社交媒体数据采集方法、装置及电子设备，属于数据处理技术领域，该方法包括：在数据采集系统中设置引擎层、采集层和数据层；通过用于数据采集调度的Engines模块接收外部系统输入的请求信息，并根据预设的安全协议验证所述请求信息的合法性；当所述请求信息满足合法性要求之后，利用所述Engines模块对所述请求信息进行解析，得到解析结果；通过APIs模块或抓取模块执行相应的数据采集任务，并将采集到的数据传递给Pipelines模块进行数据解析和格式化，得到标准数据；将所述标准数据传递给所述Engines模块，利用所述Engines模块将所述标准数据发送给外部系统。本发明提高了社交媒体数据采集的易用性和灵活性。

本发明授权模块化的社交媒体数据采集方法及装置在权利要求书中公布了：1.一种模块化的社交媒体数据采集方法，其特征在于，包括：在数据采集系统中设置引擎层、采集层和数据层，所述引擎层包括引擎模块和业务分项，所述业务分项包括多个不同类型的数据集，所述采集层包括负责封装API调用的APIs模块和负责数据采集的抓取模块，所述数据层包括用于数据格式转换的Pipelines模块；通过用于数据采集调度的Engines模块接收外部系统输入的请求信息，并根据预设的安全协议验证所述请求信息的合法性；当所述请求信息满足合法性要求之后，利用所述Engines模块对所述请求信息进行解析，得到解析结果，如果所述解析结果是对象ID，所述Engines模块调用APIs模块进行API获取详情，如果所述解析结果是链接，所述Engines模块调用抓取模块进行链接采集；通过APIs模块或抓取模块执行相应的数据采集任务，并将采集到的数据传递给Pipelines模块进行数据解析和格式化，得到标准数据；将所述标准数据传递给所述Engines模块，利用所述Engines模块将所述标准数据发送给外部系统；其中所述在数据采集系统中设置引擎层、采集层和数据层，包括：在所述APIs模块中封装多个社交媒体平台的开放API的采集调用逻辑，处理API响应中的分页机制，在APIs模块中设置速率限制策略，每个API请求消耗一个令牌，令牌以固定的速率R生成；在所述抓取模块中设置多线程异步数据抓取机制，利用有限状态机来管理数据抓取的状态，同时通过代理池和用户代理轮换来规避IP封锁风险；在所述Engines模块中定义任务队列和设置任务调度算法，以实现动态调整优先级和资源分配。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人一网互通(北京)科技有限公司，其通讯地址为：100085 北京市海淀区中关村大街18号11层1121-20；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。