买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民大学

摘要：本发明涉及一种基于非易失性存储的压缩数据直接计算方法和系统，包括以下步骤：获取压缩文本数据和基于该压缩文本数据的分析应用；对压缩文本数据进行冗余消除，并在内存池上分配空间，构建非易失性存储的DAG数据结构；采用预设遍历策略对非易失性存储的DAG数据结构进行遍历，得到文本分析结果。本发明可以提高数据局部性，降低对非易失性存储的写操作，从而提高效率。因此，本发明可以广泛应用于大数据处理技术领域。

主权项：1.一种基于非易失性存储的压缩数据直接计算方法，其特征在于，包括以下步骤：1）获取压缩文本数据和基于该压缩文本数据的分析应用；2）基于N-TADOC持久化策略，对压缩文本数据进行初始化构建非易失性存储的DAG数据结构，并采用预设遍历策略对非易失性存储的DAG数据结构进行遍历，根据分析应用对遍历结果进行统计汇总，得到文本分析结果；其中，所述N-TADOC持久化策略为基于操作级持久化成本技术改进的阶段级持久化成本技术；所述步骤2）中，基于N-TADOC持久化策略，对压缩文本数据进行初始化构建非易失性存储的DAG数据结构，并采用预设遍历策略对非易失性存储的DAG数据结构进行遍历，根据分析应用对遍历结果进行统计汇总，得到文本分析结果，包括：2.1）利用N-TADOC将非易失性存储的空间映射到内存，并对压缩文本数据进行初始化，构建非易失性存储的DAG数据结构；2.2）判断步骤2.1）过程中是否发生故障，若发生故障，则N-TADOC返回到之前的检查点重新进行初始化，否则进入步骤2.3）；2.3）将构建的DAG数据结构刷新回非易失性存储，并进入步骤2.4）进行图遍历；2.4）采用预设遍历策略对非易失性存储的DAG数据结构进行遍历，根据分析应用对遍历结果进行统计汇总，得到文本分析结果，并利用N-TADOC将文本分析结果持久化到非易失性存储；2.5）判断步骤2.4）过程中是否发生故障，若发生故障，则返回到之前的检查点重新进行图遍历；所述步骤2.1）中，对压缩文本数据进行初始化，构建非易失性存储的DAG数据结构，包括：2.1.1）基于非易失性内存池管理的修剪方法对压缩文本数据中的部分冗余进行消除，并在非易失性存储上建立DAG池，得到DAG图及其元数据；2.1.2）基于元数据，使用自下而上求和方法对非易失性存储器上可变数据结构长度的上限进行估计；2.1.3）基于估计结果为非易失性存储上的数据对象分配空间，得到非易失性存储的DAG数据结构。

全文数据：

权利要求：

百度查询： 中国人民大学 一种基于非易失性存储的压缩数据直接计算方法和系统