龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京尚优力达科技有限公司
摘要：一种基于多模态模型的旋钮开关状态识别的方法，步骤包括：首先，采集训练图像并组成图文匹配对数据集，以构建旋钮开关状态垂类数据集；通过旋钮开关状态垂类数据集对多模态模型进行有监督学习训练，并获得改进多模态模型，再配置多模态模型知识库。之后，采集工作图像，并将工作图像与问题提示词文本输入改进多模态模型中获得开关状态识别结果。本发明通过多模态大模型配合垂类数据集微调改进，从而能实现通过机器视觉智能巡检，对变电站机房内的旋钮开关状态进行自动识别并告警，避免人力巡检效率慢，人力耗费大，记录失误等问题；进一步，搭配相应的知识库可以提高告警的准确度，尽早发现问题。
主权项：1.一种基于多模态模型的旋钮开关状态识别的方法，其特征在于，步骤包括：基于巡检路线采集多个旋钮开关分别在不同开关状态下的训练图像，并通过所述训练图像获得类别标签及目标检测结果；将所述类别标签及目标检测结果与所述训练图像组成图文匹配对数据集；根据所述图文匹配对数据集构建旋钮开关状态垂类数据集；基于拍摄顺序排列所述图文匹配对数据集的元素，并对各元素添加问答标注形成所述旋钮开关状态垂类数据集；通过所述旋钮开关状态垂类数据集对至少一个多模态模型进行有监督学习训练，并获得改进多模态模型；所述多模态模型为CogVLM模型；所述有监督学习训练的过程中冻结视觉编码器和预训练大语言模型，并对视觉专家模块进行训练；所述改进多模态模型经过校验后进行部署并配置多模态模型知识库；所述多模态模型知识库包括旋钮开关的整机电子文档和操作电子文档；通过自动巡检机器人沿所述巡检路线采集多个旋钮开关的工作图像，并将所述工作图像与问题提示词文本输入所述改进多模态模型中获得开关状态识别结果；当所述开关状态识别结果的置信度低于阈值，所述改进多模态模型的运行系统反馈警示信息；当所述改进多模态模型进行知识不一致性检测时，出现所述开关状态识别结果与所述多模态模型知识库中对应的旋钮开关的内容文本存在不一致情况，所述改进多模态模型反馈提示信息。
全文数据：
权利要求：
百度查询： 北京尚优力达科技有限公司 一种基于多模态模型的旋钮开关状态识别的方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号