买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：云筑信息科技(成都)有限公司

摘要：本发明涉及大数据技术领域，具体涉及一种跟踪分析trino引擎执行性能的方法，包括基于trino引擎的事件监听方式，采集SQL查询元数据，将SQL查询元数据解析为第一JSON数据；基于SQL特征，对第一JSON数据进行聚类处理，生成第二JSON数据并自动录入Hive数据库中。本发明基于trino引擎提供的事件监听的方式，获取SQL执行信息，将信息存储到外部的Hive数据库，可以存储海量的SQL信息，解决了trino引擎计算引起因为内存的问题而无法存储历史SQL执行记录的问题；基于SQL特征进行聚类处理，能够识别同一类SQL，分类的精确度高、分类速度快。

主权项：1.一种跟踪分析trino引擎执行性能的方法，其特征在于，包括以下步骤：步骤1、基于trino引擎的事件监听方式，采集SQL查询元数据，将SQL查询元数据解析为第一JSON数据；步骤2、基于SQL特征，对第一JSON数据进行聚类处理，生成第二JSON数据并自动录入Hive数据库中；所述步骤1包括：步骤11、初始化一个kafkaclient的客户端；步骤12、基于trino引擎协调者组件的事件监听器，捕获、监听查询已经创建事件和查询已经完成事件，采集trino引擎中查询已经完成事件对应的SQL查询元数据；步骤13、将采集的SQL查询元数据解析为第一JSON数据；步骤14、利用kafkaclient将第一JSON数据发送到kafka集群中；所述步骤2包括：步骤21、将kafka集群中的第一JSON数据接入到Flink流计算引擎中；步骤22、采用Map算子集成trino引擎的SQLParser组件，初始化一个SQLParser实例；步骤23、在Map算子中提取第一JSON数据中的查询字段，利用SQLParser组件将查询字段解析为抽象语法树；步骤24、基于抽象语法树提取SQL特征，对代表变量的SQL特征进行转化，得到第二JSON数据；步骤25、第二JSON数据自动录入Hive数据库中；所述步骤24包括：步骤241、收集提取的SQL特征得到特征集合；步骤242、深度递归遍历抽象语法树，逐一判断抽象语法树节点的类型，如果当前节点的类型为数值类型或字符串类型，用问号字符代替当前节点的文本值作为SQL特征并放入特征集合中，反之则将当前节点的文本值作为SQL特征并放入特征集合中；步骤243、将特征集合的每个SQL特征拼接成字符串，采用MD5算法将字符串转化成32位的特征字符串，将特征字符串添加至第一JSON数据中，得到第二JSON数据。

全文数据：

权利要求：

百度查询： 云筑信息科技(成都)有限公司 一种跟踪分析trino引擎执行性能的方法