买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:奇秦科技(北京)股份有限公司
摘要:本发明公开了一种基于非阻塞IO通信模型实现的高性能数据转换方法及系统,属于异构数据转换技术领域,方法包括:接收客户端的数据转换请求,数据转换请求包括源数据和数据转换规则唯一标识;基于数据转换请求,对源数据做预处理;基于数据转换请求的配置信息以及预处理后的源数据信息,对配置信息的结构、类型、字段间的依赖和字段路径层级进行解析,得到解析后的配置信息;基于解析后的配置信息对源数据进行数据转换。在针对不同业务场景的异构数据转换,适配不同数据格式的数据转换,通过可视化配置,灵活地实现数据结构描述,字段映射以及分组合并等功能,结合协议转换、数据预处理、数据解析、数据处理和数据缓存实现高性能的数据转换。
主权项:1.一种基于非阻塞IO通信模型实现的高性能数据转换方法,其特征在于,所述方法包括:步骤S1、接收客户端的数据转换请求,数据转换请求包括源数据和关联的数据转换规则唯一标识;步骤S2、基于所述数据转换请求,对所述源数据以及所述源数据关联的数据转换规则唯一标识进行预处理,得到预处理数据,具体包括:基于数据转换请求,对源数据进行格式转换,转换成内部统一的JSON格式,得到初步的数据转换结果;将关联的数据转换规则唯一标识解析成明确的数据结构、字段类型、字段间依赖和字段路径层级的配置信息,得到解析后易用的配置信息,完成数据预处理;步骤S3、基于数据转换请求的配置信息以及所述预处理数据,对配置信息的结构、类型、字段间的依赖和字段路径层级进行解析,得到解析后的配置信息;确定并存储源、目标数据的结构,通过JsonSchema来描述数据的结构,根据需要可以对结构做补充性的描述;描述源字段与目标字段间的映射规则,包括字段映射关系、取值方式、取值、合并方式;利用JsonPath表示字段信息,以简洁统一的方式将字段名称、字段类型和字段层级关系囊括其中;通过取值方式,处理源字段数据,对源数据做逻辑处理,以应对复杂的数据转换需求;通过合并方式,指明多行合并时的目标字段取值策略,实现集合数据向特定类型的数据转换;指明源数据和目标数据对应关系的分组、合并规则;通过分组依据字段,对源数据的集合类型字段的数据做分组;通过合并依据字段,对分组后的集合数据进行合并产生一个新的集合数据;步骤S4、基于所述解析后的配置信息对源数据进行数据转换,具体包括:确定源数据、目标数据结构的JsonSchema;基于所述JsonSchema,结合字段层级关系、字段类型以及字段名称得到所有字段的JsonPath;基于所述JsonPath,建立源数据字段与目标数据字段间的映射规则;基于所述映射规则,依据源数据字段路径采集源数据对应的字段数据,再通过取值的方式,对源数据进行加工,得到转换结果并填充到目标路径中。
全文数据:
权利要求:
百度查询: 奇秦科技(北京)股份有限公司 一种基于非阻塞IO通信模型实现的高性能数据转换方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。