Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

文本的标准化处理方法、装置、电子设备及计算机介质 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

摘要:本公开涉及一种文本的标准化处理方法、装置、电子设备及计算机可读介质,属于数据处理技术领域。该方法包括:获取待处理的原始文本,并对原始文本进行拆分,得到原始文本中的各个待识别文本成分;获取通过标准文本成分集合预先训练的文本成分识别模型,并通过文本成分识别模型确定待识别文本成分中的第一可识别文本成分和未识别文本成分;对未识别文本成分进行标准化校正;通过文本成分识别模型确定校正后的未识别文本成分中的第二可识别文本成分;根据第一可识别文本成分和第二可识别文本成分得到原始文本的标准化文本。本公开通过将不同的原始文本归一化为统一格式和写法的标准化文本,可以提高文本数据统计和处理的效率。

主权项:1.一种文本的标准化处理方法,其特征在于,包括:获取待处理的原始文本,并对所述原始文本进行拆分,得到所述原始文本中的各个待识别文本成分;获取通过标准文本成分集合预先训练的文本成分识别模型,并通过所述文本成分识别模型确定所述待识别文本成分中的第一可识别文本成分和未识别文本成分;其中,所述标准文本成分集合中的标准文本成分是通过对标准文本进行拆分得到的,所述标准文本为具有标准格式和标准写法的文本;对所述未识别文本成分进行标准化校正;通过所述文本成分识别模型确定校正后的所述未识别文本成分中的第二可识别文本成分;其中,所述第一可识别文本成分和所述第二可识别文本成分属于所述标准文本成分集合;根据所述第一可识别文本成分和所述第二可识别文本成分,得到所述原始文本的标准化文本;其中,所述对所述未识别文本成分进行标准化校正,包括:若所述未识别文本成分为错误文本成分,则对所述错误文本成分进行拆分,得到所述错误文本成分的各个子文本成分;根据所述子文本成分与所述标准文本成分和同义文本成分的相似度,从所述标准文本成分集合中确定与所述错误文本成分对应的正确文本成分;根据所述正确文本成分对所述错误文本成分进行校正,得到校正后的所述未识别文本成分;若所述未识别文本成分为缩写文本成分,则根据所述缩写文本成分与所述标准文本成分和同义文本成分进行匹配,从所述标准文本成分集合中确定与所述缩写文本成分对应的完整文本成分;根据所述完整文本成分对所述缩写文本成分进行校正,得到校正后的所述未识别文本成分。

全文数据:

权利要求:

百度查询: 医渡云(北京)技术有限公司 文本的标准化处理方法、装置、电子设备及计算机介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。