买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：本发明公开了一种基于深度学习的GUI图像识别测试方法，包括以下步骤：S1：遍历测试脚本，关联待测GUI元素截图及其名称，构建待测元素关键字表key[]；S2：识别分割待测网页图像中所有GUI元素并分配标签，构建GUI操作元素表widget[]，从图像中用光学字符识别提取widget[]中各控件可能含有的文字信息；S3：匹配关联key[]和widget[]，通过模板匹配将key[]中待测图像与widget[]中分割图像匹配，widget[]中的文本与key[]中名称对比匹配，关联widget[]和key[]，构建哈希表；S4：基于所构建哈希表，执行测试脚本，脚本所需元素信息通过map索引，获取测试结果；本发明不仅满足GUI测试的需求，而且能够解决传统方法中对GUI结构工整性和架构普遍性的高要求以及模板匹配方法无法适应异构GUI的问题。

主权项：1.基于深度学习的GUI图像识别自动化测试方法，其特征在于，所述方法包括：S1：获取待测网页图像、待测GUI元素截图及名称、待执行测试脚本，遍历检测测试脚本，确定具体待测GUI元素，关联待测GUI元素截图及其名称，构建待测元素关键字表key[]；S2：识别分割待测网页图像中所有GUI元素并分配标签，构建GUI元素操作表widget[]，从图像中用光学字符识别提取widget[]中各控件可能含有的文字信息；S3：匹配关联key[]和widget[]，通过特征点匹配将key[]中待测图像与widget[]中分割图像匹配，widget[]中的文本与key[]中名称对比匹配，关联widget[]和key[]，构建哈希表；S4：基于所构建哈希表，执行测试脚本，脚本所需元素信息通过哈希表索引，获取测试结果；步骤S2具体包括：S21：将待测网页图像做前处理以适配模型输入要求；S22：通过YOLOv3将输入图像分割成不同大小网格，每个网格预测固定数量的边界框和类别概率，边界框由五个信息构成，分别是中心点横纵坐标、宽度、高度以及目标类别的概率；S23：对YOLOv3输出的边界框进行后处理，滤除低置信度的边界框，应用非极大值抑制方法对边界框的置信度进行衰减以去除重叠的边界框；S24：根据YOLOv3输出的类别概率，分类边界框中的目标GUI元素，并暂存为分割图像、标签、位置尺寸信息和置信度形式；S25：以标签为索引，分割图像及其位置坐标信息为内容建立该待测网页图像的GUI元素操作表widget[]；S26：通过光学字符检测提取待测网页图像中的文字信息，根据位置坐标重合度保留与widget[]中元素相关的文本信息，舍去其他无关文本，具体重合度要求视实际情况而定；S27：将相关文本信息同样存入widget[]表中作为内容，无文本信息的元素则置空；进一步地，步骤S21中前处理的方式为：计算图像长宽比，若长宽比大于标定限制，则使用resize方式，直接拉伸图像达到416*416大小，若在标定限制范围内，则使用letterbox方式，在图像保持长宽比的情况下在短边上填充128，128,128像素，使得图像扩充为网络输入尺寸；步骤S22位置尺寸信息计算公式为： 其中，bx和by表示边界框的中心点的坐标，相对于整个图像的宽度和高度的比例，bw和bh表示边界框的宽度和高度，相对于整个图像的宽度和高度的比例，cx和cy分别表示分割图像中心点所处区域的左上角坐标，pw和ph分别表示Anchor的宽和高，σtx和σty分别表示预测框中心点和左上角的距离，σ代表sigmoid函数，tw和th表示预测的宽高偏移量，σto是置信度预测值，Probject指当前框有目标的概率，由输出层预测得到，IOUb，object指边界框b与物体object的交并比，具体计算方式为： 其中，AreaofIntersection表示边界框b和真实物体object的交集面积，AreaofUnion表示边界框b和真实物体object的并集面积。

全文数据：

权利要求：

百度查询： 四川大学 基于深度学习的GUI图像识别自动化测试方法