买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆医科大学

摘要：本发明公开了一种单层Bp神经网络的等效方程组模型构造方法，包括以下步骤：对数据集进行预处理；载入训练集；读取神经网络结构；构造无约束条件下的等效方程组模型，并进行求解，然后验证无约束条件下的等效方程组模型与单层Bp神经网络的等效性；构造线性约束条件下的等效方程组模型，并进行求解；利用测试集测试带有线性约束条件方程组的解。本发明在无约束条件下，该模型能达到与单层Bp神经网络识几乎相同的识别率；在复杂线性约束条件下，该模型能够清晰表达约束条件，解决单层Bp神经网络难以编写程序求解的优化问题。

主权项：1.一种单层Bp神经网络的等效方程组模型构造方法，其特征在于，包括以下步骤：步骤1、对数据集进行预处理；步骤2、载入训练集；步骤3、读取神经网络结构；步骤4、构造无约束条件下的等效方程组模型，并进行求解，然后验证无约束条件下的等效方程组模型与单层Bp神经网络的等效性；步骤5、构造线性约束条件下的等效方程组模型，并进行求解；步骤6、利用测试集测试带有线性约束条件方程组的解；所述步骤1中的对数据集进行预处理具体为：将数据集的训练集和测试集中的图像数据变形为行向量，然后按列进行存放；通过上述预处理后将训练集和测试集图像样本分别命名为“F_train”和“F_test”；训练集和测试集标签集对应于图像样本集分别命名为“B_train”和“B_test”，将测试集的图片和标签独立封装；所述的数据集为MNIST数据集；包含60000份训练集图片及其对应标签和10000份测试集图片及其对应标签；所述步骤2中的载入训练集具体为：将训练集和测试集图片集和标签集载入到软件工作区；所述步骤3中的读取神经网络结构具体为：输入层神经元个数等于训练集图片像素点个数；输出层神经元个数为训练集图片类别数；所述步骤4中的构造无约束条件下的等效方程组模型，并进行求解，然后验证无约束条件下的等效方程组模型与单层Bp神经网络的等效性，具体为：步骤4.1、在无约束性条件情况下，根据线性非齐次方程组形式：AX＝B，利用单层Bp神经网络对应的输入图像和标签值，编写程序求解方程组模型，具体为：0～9数字图片被分为十类，标签值按照One-hot编码；由于One-hot编码形式，每一位编码对应一个方程中等式右边的B项，那么一张图片就对应了十个方程；通过将系数矩阵W变形为列向量X，在已知方程组形式为AX＝B、列向量X为7840维，列向量B为10维，就可以根据矩阵乘法推断出矩阵A的大小为10行7840列，从而构造出AX＝B具体的方程组模型；步骤4.2、采用梯度下降迭代法求解方程组求解无约束性条件下的等效方程组模型；步骤4.3、验证无约束性条件下的方程组模型与单层Bp神经网络等效性；所述步骤4.2中的采用梯度下降迭代法求解方程组求解无约束性条件下的等效方程组模型，具体为：步骤4.2.1、通过初始化未知数列向量X为服从均匀分布的任意随机数，从而确定初始迭代点X，给定收敛精度T＝0.2和学习率α＝0.005，初始化矩阵行号i＝1，训练次数epoches＝0；步骤4.2.2、判断i是否大于600000，如果大于则循环完一次完整的训练集，epoches＝epoches+1，令i＝1，重新从第一个方程进行迭代，如果仍小于600000则继续执行步骤4.2.3；步骤4.2.3、选取训练集A矩阵第i行和标签列向量B第i行，这样做实则是选择方程组中第i个方程；步骤4.2.4、计算第i个方程在X点时，Bi对X的一阶偏导数步骤4.2.5、根据梯度下降公式求得新的未知数X的值，α为学习率，为Bi对X的一阶偏导数；步骤4.2.6、计算更新X后的方程组输出与期望输出的均方差MSE， 其中，N表示方程组中方程个数，在识别手写数字任务中为600000，Ai代表A矩阵中第i行，X为未知数的值，Bi代表列向量B中第i行；步骤4.2.7、判断MSE是否满足设定收敛精度T，如果满足转步骤4.2.8，如果不满足执行i＝i+1后转步骤4.2.2；步骤4.2.8、输出训练好后的未知数列向量X，将未知数列向量X变形回Bp神经网络系数矩阵W1，以MATLAB软件为例使用reshape函数，执行W1＝reshapeX,[78410]；所述步骤4.3中的验证无约束性条件下的方程组模型与单层Bp神经网络等效性，具体为：步骤4.3.1、将由未知数列向量X变形得到的权重系数矩阵W1带入单层Bp神经网络进行测试，计算单层Bp网络实际输出Z＝F_test*W1,最终Z矩阵大小为10000*10；步骤4.3.2、由于Bp神经网络输出中每一列代表一张图片的输出结果，通过利用max函数按顺序提取实际输出和其对应标签中每一列最大值所在的行号，进行比较，如相同则证明该图片被正确识别，正确识别图片数目加一；由此统计出由方程组模型求解变形得到的权重系数矩阵W1所组成的单层Bp神经网络对10000张测试集图片分类的正确率；步骤4.3.3、直接利用训练集图片训练单层Bp神经网络系数矩阵W2；步骤4.3.4、利用Bp神经网络权重系数矩阵W2计算单层Bp神经网络实际输出Z＝F_test*W2,通过利用max函数按顺序提取实际输出和其对应标签中每一列最大值所在的行号，进行比较，如相同则证明该图片被正确识别，正确识别图片数目加一；由此可以统计出由权重系数矩阵W2组成的单层Bp神经网络对10000张测试集图片分类的正确率；步骤4.3.5、比较由权重系数矩阵W1和权重系数矩阵W2分别组成的两个单层Bp神经网络对10000张测试集图片分类的正确率是否近似；从而验证利用梯度下降法优化求得的方程组的解与单层Bp神经网络得到的系数矩阵是等效的。

全文数据：

权利要求：

百度查询： 重庆医科大学 一种单层Bp神经网络的等效方程组模型构造方法