龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：南京铁道职业技术学院
摘要：本发明公开了一种基于PySpark和Pandas融合的大数据时序分析方法，其使用Spark对大规模数据进行过滤、聚合等变换操作，通过降采样方法把大规模时序数据转化为小规模均匀等距时序数据，再使用PySpark的toPandas方法转化为PandasDataFrame，最后使用Pandas库提供的时序分析算法进行时序分析。实际应用中具有较好的运行效率和性能。
主权项：1.一种基于PySpark和Pandas融合的大数据时序分析方法，其特征在于，包括以下步骤：步骤1：通过数据采集模块抓取来海量数据；步骤2：利用Spark对海量数据进行补全、统一时间字段格式标准化操作，得到大规模时序数据；步骤3：通过过滤、聚合变换操作把大规模时序数据降采样为小规模均匀等距时序数据；步骤4：基于PySpark将得到的小规模均匀等距时序数据转化为Pandas数据；步骤5：利用Pandas库中的时序分析函数对得到的Pandas数据进行时序分析，从而得到时序数据；所述步骤3的具体操作步骤包括：步骤31：待处理时序数据中的每条记录为事件记录信息，其包括编号id、时间戳timestamp、事件名event以及相应的值value；步骤32：通过时间范围t_start，t_end和事件名筛选出事件A对应的SparkDataFramedf_A；步骤33：为df_A添加粗粒度时间点列new_time，并对此列进行分组，使用均值函数avg对value列进行聚合计算；步骤34：根据时间范围t_start，t_end和采样粒度生成采样时间点DataFramets_df；步骤35：通过ts_df和df_new_time进行左外连接，对缺失时间点进行补全，并且缺失时间点的value值设为0；步骤36：最终得到事件A在t_start，t_end时间范围内的时序数据[tm，value]，其中，tm为粗粒度时间点，value为粗粒度时间间隔内的相应值的均值。
全文数据：
权利要求：
百度查询： 南京铁道职业技术学院 一种基于PySpark和Pandas融合的大数据时序分析方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号