买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南方电网数字平台科技(广东)有限公司

摘要：本发明属于大数据技术领域，且公开了一种基于presto引擎的敏感数据识别及脱敏方法包括数据输入单元、数据识别单元、数据脱敏单元和数据输出单元；所述数据输入单元，用于用户数据的输入并触发敏感数据识别单元；所述数据识别单元。该发明通过其简单的数据结构，列式存储逻辑行，大部分数据都可以轻易的转化成presto所需要的这种数据结构，且利用presto引擎进行数据脱敏，解决presto引擎上无法支持灵活高效数据脱敏功能的问题，可以通过自定义脱敏规则，平台全流程化、引擎解耦，主数据规则引擎生成、数据标准规范引擎、数据质量规则引擎可基于需求场景进行能力扩展和升级，能较好的集成不同的用户管理平台，元数据管理平台。

主权项：1.一种基于presto引擎的敏感数据识别及脱敏方法，其特征在于：包括数据输入单元、数据识别单元、数据脱敏单元和数据输出单元；所述数据输入单元，用于用户数据的输入并触发敏感数据识别单元；所述数据识别单元，用于对用户数据进行分析，使用计算引擎判断目标用户数据内是否存在敏感数据，若存在则将数据直接输入数据脱敏单元，若不存在则直接输出至数据输出单元；所述数据识别单元的识别方法包括：S1：根据用户数据判断用户数据类型，即Client发送请求给Coordinator，SQL通过ANTLR进行解析生成AST；S2：生成可供分析的关键词后，与Mysql数据库内部的敏感数据关键词进行匹配，若未匹配到结果则直接输出到数据输出单元，若匹配到关键词，则AST通过元数据进行语义解析；S3：语义解析后的数据生成逻辑执行计划，并且通过数据识别规则进行优化，切分逻辑执行计划为不同Stage，并调度Worker节点去生成Task；S4：Task根据不同的敏感数据关键词生成相应物理执行计划；S5：调度完后根据调度结果Coordinator串联Stage；S6：Worker执行相应的物理执行计划，并对敏感数据进行标记；S7：Client不断地向Coordinator拉取查询结果，Coordinator从最终汇聚输出的Worker节点拉取查询结果，并最终汇总输出给数据脱敏单元；所述数据脱敏单元，用于对判断为敏感数据的用户数据进行脱敏操作，包括支持脱敏规则模板的管理，支持预定义和自定义方式、用户密级管理模块、表格字段级别脱敏规则管理，包括模板，参数，密级，数据字段相互关联，计算引擎实现动态脱敏功能，所述计算引擎为presto引擎；所述数据脱敏单元的数据脱敏方法包括以下步骤：S1：脱敏规则生成，脱敏规则包括系统规则和用户规则，系统规则是指系统中预定义的规则，用户可以直接使用，参数已经配置完成，用户规则指用户定义新的脱敏规则，或者新的规则参数；S2：配置表格脱敏规则，选择对应的列、脱敏规则，脱敏后的密级，修改表格脱敏配置时，进行脱敏操作审计日志的记录，记录操作的人员和脱敏配置前后的变化；S3：配置用户密级，对于一般的用户系统，可以设置用户组、用户角色和用户本身，可以针对这三类主题进行密级设置，系统综合计算用户的所有身份，获取到最大的密级权限进行验证；S4：执行查询；所述数据脱敏方法还包括以下脱敏执行方式：1三类密级：数据列的原始访问密级；数据列脱敏后密级，即一个字段可以定义多种脱敏规则和脱敏后密级；用户密级；2脱敏规则确定方式：如果用户密级不低于数据列的原始密级，则无需脱敏；如果用户密级低于字段原始密级，且存在脱敏后密级不高于用户密级脱敏规则，则选择脱敏后密级最高的脱敏规则；如果用户密级低于字段原始密级，且低于所有的脱敏后密级，则退化为无查看权限；3确定脱敏规则后交由执行引擎下推到计算任务中执行；在presto执行过程中的语义分析环节，通过获取元数据信息和脱敏配置信息，获取到字段脱敏规则名称，通过名称可以关联到presto中预定义的函数，通过替换AST中的对应节点，达到改写SQL的目标，实际计算过程中会调用脱敏函数的算法逻辑产出最后的查询结果；执行查询计算时，进行审计日志的记录；所述数据输出单元，用于输出不携带敏感数据的用户数据，且包含完全不存在敏感数据的用户数据以及包含脱敏处理后的敏感数据的用户数据。

全文数据：

权利要求：

百度查询： 南方电网数字平台科技(广东)有限公司 一种基于presto引擎的敏感数据识别及脱敏方法