首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于KAN和自适应梯度优化的神经网络参数搜索算法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:青岛理工大学

摘要:本发明属于深度神经网络参数搜索技术领域,公开了一种基于KAN和自适应梯度优化的神经网络参数搜索算法,包括如下步骤:初始化种群;根据适应度值选择初始最优解;构造用于种群繁殖的自适应策略池以及策略选择的评价函数;每个个体进行网格扩展,并进行网络结构节点的稀疏化处理和裁剪,以更新种群用于进化的网络结构;每个个体根据构造的评价函数自适应选择策略池中的某个策略进行训练,选择当前轮次的最优解;迭代直至达到设置的轮次,最终选出一个最佳网络个体作为整个种群的最优解。本发明所公开的算法不仅具有梯度下降的局部搜索能力,而且具有良好的进化计算的全局搜索能力,大大缩减了计算成本。

主权项:1.一种基于KAN和自适应梯度优化的神经网络参数搜索算法,其特征在于,包括如下步骤:步骤1:初始化种群,该种群由N个具有相同初始化参数的KAN网络个体组成;步骤2:选择损失函数作为种群评估的适应度函数,将数据样本输入每一个个体中,通过适应度函数得到每个个体的适应度值,根据适应度值选择当前最佳的个体作为初始最优解;步骤3:构造用于种群繁殖的自适应策略池以及策略选择的评价函数;步骤4:根据初始化的种群,每个个体进行网格扩展确定每一个可学习的激活函数,并进行网络结构节点的稀疏化处理和裁剪确定网络形状,以更新种群用于进化的网络结构;步骤5:根据更新的网络结构,每个个体根据构造的评价函数自适应选择策略池中的某个策略进行训练,根据适应度函数计算每个个体的适应度值,并根据适应度值选择一个最佳个体作为当前轮次的最优解;步骤6,迭代步骤4和步骤5直至达到设置的轮次T,最终在T轮次下选出一个最佳网络个体,其具有最优性能的神经网络结构和参数,并作为整个种群的最优解。

全文数据:

权利要求:

百度查询: 青岛理工大学 基于KAN和自适应梯度优化的神经网络参数搜索算法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。