申请/专利权人：广东工业大学

申请日：2021-09-07

公开（公告）日：2024-06-28

公开（公告）号：CN113793175B

主分类号：G06Q30/0242

分类号：G06Q30/0242;G06N20/20;G06F18/25

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2021.12.31#实质审查的生效;2021.12.14#公开

摘要：本发明提出了一种基于双线性FFM和多头注意力机制的广告点击率预估方法，包括：获取广告主物品广告点击数据集并对数据集进行预处理，得到类别型特征数据并将其转化为Embedding向量；通过双线性FFM结构和多头注意力机制结构将Embedding向量处理为低阶特征组合和高阶特征组合；将低阶特征组合和高阶特征组合进行拼接并进行计算，得到特征组合数据及对应的概率；将特征组合数据根据概率大小进行降序排序，取出排序靠前的广告作为广告点击率预估的推荐结果。本发明采用双线性FFM结构，实现了在FM模型的基础上加入少量参数达到了接近FFM的效果，同时，采用多头注意力机制结构计算得到组合特征向量之间的相关性，提升了广告点击率预估的效果和可解释性。

主权项：1.基于双线性FFM和多头注意力机制的广告点击率预估方法，其特征在于，包括以下步骤：S1：获取广告主物品广告点击数据集并对数据集中的数值型特征和类别型特征进行数据预处理；S2：将类别型特征数据和数值型特征映射成Embedding向量；S3：将Embedding向量分别输入双线性FFM结构和多头注意力机制结构中，分别进行低阶特征以及高阶特征的组合，得到低阶特征组合和高阶特征组合；S4：将低阶特征组合和高阶特征组合进行拼接，根据Sigmoid函数进行计算，得到特征组合数据及对应的概率；S5：将特征组合数据根据广告主编号进行分组，并根据概率大小进行降序排序，针对每个广告主编号的物品取出排序靠前的广告作为广告点击率预估的推荐结果；在所述步骤S3中，Embedding向量ei的低阶特征组合ylow具体表示为： 其中，w0是偏置项；xi、xj分别是第i个和第j个特征向量，wi是一维特征向量xi的权重系数；si、sj分别表示特征向量xi、xj的隐向量；W为隐向量si、sj共享参数矩阵，用于表示特征向量xi、xj交互的信息；在所述步骤S3中，共享参数矩阵W的构造方法有如下三种：1所有类别型特征数据共享一个参数矩阵，则参数量为k×k，其中k为嵌入向量的维度；2将类别型特征数据划分为多个域，每个域中的类别型特征数据共享一个参数矩阵，则参数量为p×k×k，其中p为域的数量；3将类别型特征数据划分为多个域，每两个域的类别型特征数据共享一个参数矩阵，则参数量为p×p×k×k；在步骤S3中，高阶特征组合的步骤具体包括以下步骤：在多头注意力机制结构中，随机初始化三个满足高斯分布的矩阵，分别为查询权重矩阵Wquery、键查询矩阵Wkey、值权重矩阵Wvalue并将这三个矩阵作为特征交叉层中注意力子空间h中的转换向量将Embedding向量ei经过的注意力子空间h的转换向量将e1,e2,…,ei分别映射成向量组K＝[k1,k2,…,ki]、V＝[v1,v2,…,vi]以及向量qi；向量qi分别与向量组k1,k2,…,ki进行相似度计算，将相似度进行归一化后得到注意力权重将注意力权重与向量组v1,v2,…,vi进行加权求和，得到Embedding向量ei在注意力子空间h下的组合特征向量将组合特征向量进行拼接操作，得到嵌入特征向量ei在多头自注意力机制下的组合特征向量在多头注意力机制结构中迭加多层特征交叉层，对组合特征向量进行迭加，得到高阶特征组合yhigh。

全文数据：

权利要求：

百度查询： 广东工业大学 基于双线性FFM和多头注意力机制的广告点击率预估方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD