买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：宇龙计算机通信科技(深圳)有限公司

摘要：本发明实施例提供了一种数据仓库、数据处理系统及计算机装置，用于提升对流数据和历史离线数据计算的便捷性。本发明实施例中的数据仓库包括：数据来源、数据存储模块和数据服务模块，数据存储模块包括第一数据存储装置和流数据处理引擎中的至少一项；数据服务模块包括第一数据查询模块、数据分析模块和第二数据查询模块中的至少一项；第一数据存储装置，用于对从数据来源获取到的实时数据进行持久化存储；第一数据查询模块用于对查询到的历史离线数据进行显示；数据分析模块用于对获取到的历史离线数据进行分析显示；流数据处理引擎用于从流处理平台获取实时数据，从第一数据存储装置获取历史离线数据，以对实时数据和历史离线数据执行数据处理。

主权项：1.一种数据仓库，其特征在于，包括：数据来源、数据存储模块和数据服务模块，其中，所述数据存储模块包括第一数据存储装置和流数据处理引擎中的至少一项；所述数据服务模块包括第一数据查询模块、数据分析模块和第二数据查询模块中的至少一项；当所述数据存储模块包括所述第一数据存储装置时，所述第一数据存储装置，通过流处理平台与所述数据来源通信连接，以用于从所述数据来源获取实时数据，并对所述实时数据进行持久化存储，所述第一数据存储装置包括Clickhouse，所述流处理平台包括Kafka流处理平台；当所述数据服务模块包括所述第一数据查询模块时，所述第一数据查询模块与所述第一数据存储装置通信连接，所述第一数据查询模块用于在接收到用户的第一查询请求时，根据所述第一查询请求查询所述第一数据存储装置，并对查询到的历史离线数据进行显示，其中，所述第一查询请求用于查询所述历史离线数据；当所述数据服务模块包括所述数据分析模块时，所述数据分析模块与所述第一数据存储装置通信连接，所述数据分析模块用于在接收到用户的历史离线数据分析请求时，根据所述历史离线数据分析请求从所述第一数据存储装置获取历史离线数据并对获取到的历史离线数据进行分析显示；当所述数据存储模块包括所述流数据处理引擎，所述数据服务模块包括所述第二数据查询模块时，所述流数据处理引擎用于从所述流处理平台获取实时数据，从所述第一数据存储装置获取历史离线数据，以对所述实时数据和所述历史离线数据执行数据处理，并将处理后的历史离线数据通过所述流处理平台写入所述第一数据存储装置，将处理后的实时数据写入所述第二数据查询模块；所述第二数据查询模块用于接收用户的第二查询请求，并根据所述第二查询请求对查询到的实时数据进行显示，其中，所述第二查询请求用于查询所述实时数据；所述Clickhouse包括贴源层ODS、明细数据表DWD和数据仓库服务DWS；其中，所述贴源层ODS用于通过Clickhouseconnector从所述Kafka流处理平台获取实时数据，并对所述实时数据执行抽取、清洗转换和或加载操作后，永久写入所述明细数据表DWD；若所述明细数据表DWD接收到对永久写入数据的数据聚合和或数据去重处理请求，则根据所述数据聚合和或数据去重请求，将所述永久写入数据写入数据仓库服务DWS的聚合表，以用于对所述永久写入数据执行聚合和或去重处理。

全文数据：

权利要求：

百度查询： 宇龙计算机通信科技(深圳)有限公司 一种数据仓库、数据处理系统及计算机装置