龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明涉及一种基于多模态大模型的抽烟识别方法，旨在提高复杂场景下抽烟行为检测的精度和可靠性。该方法首先通过实时采集监控视频流数据并将其分解为多帧图像，利用优化后的YOLOv8模型进行人体目标检测与标注，标注后的图像与文本提示词通过OpenClipViT‑bigG视觉编码器和Qwen‑7B语言模型进行对齐训练，形成图片‑提示词对齐模型。随后，基于Qwen‑VL模型框架，使用LoRA微调方法对标注后的数据进行增量微调训练，生成用于抽烟识别的VLM模型参数。在实际应用中，实时输入的视频流图像与提示词经由训练后的YOLOv8和VLM模型处理，实现对抽烟行为的精准识别与输出。
主权项：1.一种基于多模态大模型的抽烟识别方法，其特征在于，所述方法包括以下步骤：a.视频流数据采集与图像分解：实时采集监控场景的视频流数据，将所述视频流数据分解为多帧图像，形成用于后续处理的图像集；b.人体目标检测与标注：使用经过优化的YOLOv8目标检测模型对图像集中的人体目标进行检测，所述YOLOv8模型通过对Backbone和Neck部分结构的改进，提升了人体目标检测的精度和速度，具体包括将第一个浅层卷积层的卷积核大小由6×6调整为3×3，并将C3结构替换为C2f结构；根据检测结果对人体目标进行抽烟行为及其位置的标注；c.图像与提示词对齐：使用OpenClipViT-bigG模型作为视觉编码器，对标注后的图像进行处理，并结合Qwen-7B语言模型，对图像与文本提示词进行对齐训练，形成图片-提示词对齐模型；d.多模态大模型构建与训练：基于Qwen-VL模型框架，进行多模态数据的整合处理，对标注后的抽烟数据进行VLM模型的增量微调训练，所述微调过程使用LoRALow-RankAdaptation方法进行，以得到微调后的VLM模型参数；e.实时抽烟识别与结果输出：在实际监控场景中，实时采集的视频流图像与提示词输入至训练后的YOLOv8模型和VLM模型，识别图像中的抽烟行为，并输出识别结果，包括抽烟行为发生的位置和时间。
全文数据：
权利要求：
百度查询： 深圳市瑞驰信息技术有限公司 一种基于多模态大模型的抽烟识别方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号