龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：六盘水师范学院
摘要：本发明公开了一种基于Transformer的半监督文本分类算法，涉及文本分类算法技术领域，包括以下步骤：步骤1：数据预处理；步骤2：数据划分；步骤3：Transformer模型训练；步骤4：打标：步骤5：置信度筛选；步骤6：随机化；步骤7：模型训练；步骤8：模型评估。本发明中，利用置信度以及随机化技术，只需要在小部分标注数据的基础上，就能接近原先需要大量标注数据的分类效果，从而大幅提高了文本分类的效率。
主权项：1.一种基于Transformer的半监督文本分类算法，其特征在于，包括以下步骤：步骤1：数据预处理；对收集的文本数据进行预处理，包括数据清洗以及文本正则化；步骤2：数据划分；将预处理后的语料分为训练集、测试集、验证集；步骤3：Transformer模型训练；模型主体框架借用bert模型架构，对模型架构做了微调，第一次的模型训练只选用标注训练集其中的1份，剩余N-1份用作后续随机化过程；步骤4：打标：利用上述训练出的Transformer模型对未标注训练集进行打标，得到大量自动标注后的语料，输出结果中包含所有类别以及对应类别的分类概率；步骤5：置信度筛选；对自动标注后的语料训练模型引入置信度筛选；步骤6：随机化；在置信标注语料中随机选取1％剔除，同时加入1份之前训练过程中未使用的标注语料，剔除的语料不包含少样本类别语料；步骤7：模型训练；继续迭代模型；步骤8：模型评估；利用验证集进行模型评估，此外增加训练集验证，前期选用迭代测试集评估模型效果，后期同时选用迭代测试集以及终评测试集，最后结束模型迭代。
全文数据：
权利要求：
百度查询： 六盘水师范学院 一种基于Transformer的半监督文本分类算法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号