龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：天翼电子商务有限公司
摘要：本发明公开了一种改进PrestoonAlluxio优化方法，本发明设计了CacheManger独立服务，该服务主要功能分为两块，一块负责分析历史presto查询统计信息，包括表分区的查询频次以及读取的IO统计信息，将这些信息汇总引入了热力值概念，高于阈值的认为热表分区，低于阈值的认为冷表分区，另一块通过监听hiveddl事件，如果监听到诸如droptable、droppartition之类的信息，需要及时通过presto去失效已经存储在本地的数据，保证缓存的有效性。
主权项：1.一种改进PrestoonAlluxio优化方法，其特征在于，包括以下步骤：1、策略分析：在对历史查询进行统计分析时，采用分区级，因为生产环境的表几乎都是分区表，用户在查询时根据查询需求场景不同，查询涉及到的表分区可能就几个分区，给分区打上可缓存标签cacheTag，那么在presto查询时，可以以分区维度更加细粒度的控制缓存数据，进而节省空间；首先以固定的时间频率查询过去一段时间内的历史查询信息，每一条记录其实就是presto查询完的统计信息，利用该条信息可以准确的确定出当前查询读取了哪些表以及分区读取耗时、数据量的大小，并根据上述信息计算热力值，其公式如下： 变量为p一段时间内查询频率，size一段时间内该分区或者表的读取数据平均大小，time一段时间内该分区或者表的读取数据平均耗时，那么v就可以看到这一段时间内的平均读取速率；2、HiveDDL事件监听：开发hivemetaStoreeventListener插件，该插件监听hiveddl事件：DROPTABLE、DROPDATABASE、DROPPARTITION、INSERT、LAODPARTITION；在eventListener插件中如果监听以上事件，就将该消息发送到redis，cacheManager通过订阅的方式，读取redis中的数据，如果读取到就根据事件类型，通知presto失效相应的缓存cacheTag，以及删除worker节点上的数据。
全文数据：
权利要求：
百度查询： 天翼电子商务有限公司 一种改进Presto on Alluxio优化方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号