Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

面向招投标领域大模型预训练的表格数据处理方法及系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:国泰新点软件股份有限公司

摘要:本申请涉及人工智能技术领域,尤其涉及一种面向招投标领域大模型预训练的表格数据处理方法及系统,方法包括获取表格数据,判断是否属于业务专用表格,若不属于,基于启发性规则判断表格数据属于数字型表格或是文本型表格;若是业务专用表格,在预构建的文本模板库中选择对应的文本模板,从表格数据提取数据并填充至文本模板得到业务专用表格的文本描述;若是数字型表格,转换成结构化数据并添加注释得到数字型表格的文本描述;若是文本型表格,使用OCR识别方法识别表格数据中的文本,将识别出的文本组织成文本格式得到文本型表格的文本描述。本申请能够应对多样化的表格数据,提升面对招投标领域表格数据的处理效率以及表格数据处理结果的准确性。

主权项:1.一种面向招投标领域大模型预训练的表格数据处理方法,其特征在于,所述方法包括:获取表格数据,通过关键词检索的方法判断所述表格数据是否属于业务专用表格,若不属于所述业务专用表格,基于预设的启发性规则判断所述表格数据属于数字型表格或是文本型表格;若是所述表格数据属于业务专用表格,基于所述表格数据所属业务专用表格的具体类型在预构建的文本模板库中选择对应的文本模板,从所述表格数据提取数据并填充至所述文本模板,得到所述业务专用表格的文本描述;所述通过关键词检索的方法判断所述表格数据是否属于业务专用表格包括:构建并动态更新业务关键词库;使用语义分布的方法扩展所述业务关键词库;使用扩展的所述业务关键词库对所述表格数据进行搜索,判断所述表格数据中是否存在关键词,若是存在,暂定为业务专用表格;对暂定为业务专用表格的所述表格数据进行人工确认,确认无误则最终判断为业务专用表格;所述使用语义分布的方法扩展所述业务关键词库包括:收集大量与招投标领域相关的文本构成文本语料库,对收集的文本进行预处理;构建词汇共现矩阵,矩阵的每个元素表示词汇和在同一个上下文窗口中共现的次数,其中上下文窗口是预先定义的,计算每对词汇在上下文窗口中的共现次数,并计算每对词汇出现的概率如下: 通过以下公式计算出词汇和的值: 计算出和的值后,将其与预设的阈值进行比较,若是超过阈值,则将该对词汇认定为近义词;对于每个业务关键词库的关键词,使用语义分布的方法计算并筛选出其在文本语料库中的近义词,将近义词添加到业务关键词库中,得到扩展的业务关键词库;若是所述表格数据属于数字型表格,将所述表格数据转换成结构化数据,并对所述结构化数据添加注释,得到所述数字型表格的文本描述;若是所述表格数据属于文本型表格,检测并拆分所述表格数据中的合并单元格,使用OCR识别方法识别所述表格数据中的文本,将识别出的文本按照行列和表头组织成文本格式,得到所述文本型表格的文本描述。

全文数据:

权利要求:

百度查询: 国泰新点软件股份有限公司 面向招投标领域大模型预训练的表格数据处理方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。