首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于句子空间的模型语义理解评估方法、装置和介质 

申请/专利权人:南湖脑机交叉研究院

申请日:2024-03-19

公开(公告)日:2024-07-05

公开(公告)号:CN118297071A

主分类号:G06F40/30

分类号:G06F40/30;G06F16/35;G06N3/0455;G06N3/094;G06N5/04

优先权:

专利状态码:在审-实质审查的生效

法律状态:2024.07.23#实质审查的生效;2024.07.05#公开

摘要:本发明公开了一种基于句子空间的模型语义理解评估方法、装置和介质,该方法包括采集能够按照语义进行分类的语句集合;收集系统对语句集合中所有句子两两之间的蕴含关系进行打分,获取蕴含得分矩阵;根据蕴含得分矩阵构建句子距离矩阵,形成句子语义空间;使用可视化方法定性观察模型的句子语义空间,获取模型的句子语义空间图;使用句子语义空间评估器根据评估指标定量评价模型的句子语义空间性质;其中评估指标包括空间稀疏度、语义相关句子聚类效果以及与人类空间的相似性。本发明无需大量人力编写,能够通过两两组合打破数据集中存在的简单规律,从而更全面地测试模型的语言理解能力。

主权项:1.一种基于句子空间的模型语义理解评估方法,其特征在于,包括以下步骤:1采集能够按照语义进行分类的语句集合;2收集系统对语句集合S中所有句子两两之间的蕴含关系进行打分,获取蕴含得分矩阵;根据蕴含得分矩阵构建句子距离矩阵,形成句子语义空间;其中,所述收集系统包括人工和模型;3使用可视化方法定性观察模型的句子语义空间,获取模型的句子语义空间图;4使用句子语义空间评估器根据评估指标定量评价模型的句子语义空间性质;其中,所述评估指标包括空间稀疏度、语义相关句子聚类效果以及与人类空间的相似性。

全文数据:

权利要求:

百度查询: 南湖脑机交叉研究院 基于句子空间的模型语义理解评估方法、装置和介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。