买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:上海岩芯数智人工智能科技有限公司
摘要:本发明提供一种基于LVLM的自动化中文图文对数据生成方法及装置,解决了现有中文图文对数据中存在中文数据质量不高且数量少的问题。具有以下优点:(1)利用同一个LVLM进行中文数据的生成与英文数据的翻译,简化了方案的架构;(2)通过生成和翻译两种方法结合,扩大中文图文数据的来源,增加数据的多样性;(3)对生成翻译后的样本进行了多阶段的后处理,以进一步提升中文语料的质量;(4)使用CLIP模型来进行图文相似度的对比,进一步提升中文语料的质量。
主权项:1.一种基于LVLM的自动化中文图文对数据生成方法,其特征在于,适用于仅包含图像的情况,具体包括如下步骤:步骤S1、获取图像D1并生成指令prompt-1;步骤S2、将D1和prompt-1输入LVLM模型,形成文本T1;步骤S3、对T1进行截断样本过滤,形成文本T2;步骤S4、对T2进行重复性过滤,形成文本T3;步骤S5、通过中文CLIP模型计算D1与T3的相似度S-1,若S-1小于阈值γ,则删除D1,反之,则保留D1。
全文数据:
权利要求:
百度查询: 上海岩芯数智人工智能科技有限公司 一种基于LVLM的自动化中文图文对数据生成方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。