申请/专利权人：深圳市亲邻科技有限公司

申请日：2023-12-08

公开（公告）日：2024-06-28

公开（公告）号：CN117540151B

主分类号：G06F18/10

分类号：G06F18/10;G06F16/18;G06F16/21;G06F16/28;G06F18/15;G06F18/24

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.03.01#实质审查的生效;2024.02.09#公开

摘要：本发明公开了一种数据推送系统的数据预处理方法，属于数据处理技术领域，包括：获取binlog日志文件后进行解析得到解析数据，所述解析数据包括：第三方平台标识、事件操作数据和其他数据；建立增删规则池，对解析数据内的进行第一次字段过滤，得到初始解析数据；所述第三方平台标识、事件操作数据为固定数据，不参与过滤；将初始解析数据进行分类；对初始解析数据进行第二次字段过滤和或字段补全，得到最终解析数据；根据不同的第三方平台的最终解析数据制成不同宽表。本发明数据预处理方法具体通过第一次过滤、第二次过滤和补全对数据进行定制化处理，实现应对不同第三方平台的抽取需求。

主权项：1.一种数据推送系统的数据预处理方法，其特征在于，包括以下步骤：步骤一：获取binlog日志文件后进行解析得到binlog解析数据，所述binlog解析数据包括：第三方平台标识、事件操作数据和其他数据；步骤二：建立的增删规则池，对binlog解析数据进行第一次字段过滤，得到初始binlog解析数据；所述第三方平台标识和事件操作数据为固定数据，不参与过滤；步骤三：将初始binlog解析数据进行分类；步骤四：对初始binlog解析数据进行第二次字段过滤和或字段补全，得到最终binlog解析数据；步骤五：根据不同的第三方平台的最终binlog解析数据制成不同宽表；其中，所述其他数据包括：日志名称、事件类型、时间戳、服务器标识、执行时间和操作者数据；所述增删规则池包括：过滤规则池和补全规则池；所述过滤规则池存储不同第三方平台所设定的字段过滤规则，过滤一个字段则代表一种字段过滤规则；所述补全规则池存储不同第三方平台所设定的字段补全规则，补全一个字段则代表一种字段补全规则；所述步骤二具体为：统计所述过滤规则池中相同的字段过滤规则的种类数量，设定过滤阈值，将所述种类数量不小于过滤阈值的字段过滤规则都存储在相同过滤池中，按照所述相同过滤池中的字段过滤规则对所有binlog解析数据进行第一次字段过滤；所述步骤三将初始binlog解析数据进行分类具体为：根据第三方平台标识对初始binlog解析数据进行分类；所述步骤三在将初始binlog解析数据进行分类之后，还包括以下步骤：将初始binlog解析数据按照分类放到不同的环形缓冲区中；所述步骤四具体为：根据第三方平台设定的字段过滤规则对属于该第三方平台的初始binlog解析数据进行第二次字段过滤和或根据第三方平台设定的字段补全规则对属于该第三方平台的初始binlog解析数据进行字段补全。

全文数据：

权利要求：

百度查询： 深圳市亲邻科技有限公司 一种数据推送系统的数据预处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD