买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种基于用户偏好的广告点击率预估方法。所述方法包括以下步骤：采集数据获得每个用户的广告点击序列；对广告点击序列进行预处理，获得序列训练数据集；构建基于用户偏好网络的点击率预估模型；采用预处理得到的训练数据集对基于用户偏好网络的点击率预估模型进行迭代训练；输入用户完整的广告点击序列，利用训练获得的基于用户偏好网络的点击率预估模型学习用户偏好特征，获得点击率预估结果。本发明引入了新颖的注意力机制，不仅同时考虑了用户序列中隐含的长短期偏好，还进一步地学习用户漂移偏好及融合偏好，能克服现有方法在用户偏好多样多维与漂移建模上的不足，从用户偏好学习的角度有效提升广告点击率预估的准确性。

主权项：1.一种基于用户偏好的广告点击率预估方法，其特征在于，包括以下步骤：S1、采集商业平台中的用户广告点击记录及用户和广告相应属性数据，按时间先后整理获得每个用户的广告点击序列；所述用户广告点击记录包括用户id编号、点击查看且购买的广告商品id编号、购买时间，用于记录用户点击查看且购买过的广告商品；所述用户和广告相应属性数据包括用户性别、用户年龄段、用户平台等级、广告商品价格、广告商品评价等级、广告商品销量大小；S2、对广告点击序列进行预处理，对长度不足或长度超出限定长度的点击序列进行异常处理，获得序列训练数据集；包括以下步骤：S2.1、对广告点击序列中出现过的所有用户、广告分别建立新的统一索引编号，将广告点击序列中的用户id编号、广告商品id编号分别映射为新建的索引编号；S2.2、对长度不符合要求的广告点击序列异常处理：剔除长度低于指定长度a的广告点击序列，截断长度超过限定长度b的广告点击序列；S2.3、对每一条用户广告点击序列，假设序列包括n个购买行为，a≤n≤b，则分割前n-1个购买行为和第n个购买行为，在后续点击率预估模型训练时点击率预估模型输入前n-1个购买行为，利用第n个购买行为作监督，在训练完成后点击率预估模型作预测时输入的则是完整的用户行为序列；S3、构建基于用户偏好网络的点击率预估模型，包括用户长短期偏好子网、偏好漂移子网、偏好融合子网的构建；所述基于用户偏好网络的点击率预估模型包括输入层、嵌入层、用户偏好提取层、特征全连接层和输出层，具体如下：输入层的输入包括用户广告点击序列、点击率预估的用户属性和点击率预估的商品属性；用户广告点击序列由按时间顺序排列的用户点击购买过的广告商品的索引编号构成；点击率预估的用户属性包括点击率预估用户的索引编号及用户性别、年龄段、用户平台等级；点击率预估的商品属性包括需要判断是否进行推荐的点击率预估商品的索引编号及商品价格、评价等级、销量大小；嵌入层根据用户id编号和广告商品id编号将输入层输入的用户广告点击序列、点击率预估的用户属性及商品属性映射为固定长度、随机初始化的嵌入向量；用户偏好提取层在设计的三个偏好子网中引入多头注意力机制Multi-HeadAttention与压缩-激发注意力机制SEAttention两种注意力机制，基于门控循环单元GRU与融合偏好注意力门的门控循环单元PAGRU学习用户长短期偏好、漂移偏好和融合偏好；特征全连接层将长短期偏好特征、漂移偏好特征和融合偏好特征与嵌入层根据用户id编号和广告商品id编号进行映射得到的嵌入向量、采用独热编码嵌入得到的用户和广告商品的附加属性对应的特征向量进行向量拼接，通过基于多层感知机MLP的全连接神经网络FNN学习特征间的高阶交互关系；输出层借助Softmax函数获得点击率预估结果；所述用户偏好提取层包括长短期偏好子网、偏好漂移子网、偏好融合子网；用户偏好提取层的具体构建步骤如下：S3.1、基于GRU搭建长短期偏好子网：将经由嵌入层转换后的用户广告点击序列依次输入GRU单元，GRU单元每一个时间步长的隐状态向量视为用户在不同时间的历史偏好向量，反映用户在不同时间即每一个时间步长的历史偏好信息，GRU单元在最后一个步长的输出即为提取的短期偏好表示，长期偏好的表示则由GRU所有时间步长的输出构成；获得用户的长短期偏好表示后，借助Multi-HeadAttention在不同子空间下对用户长短期偏好与广告商品的多维度关系进行建模，提取出不同维度下细粒度多维度的长短期偏好特征；S3.2、基于PAGRU单元搭建偏好漂移子网：偏好漂移子网接收长短期偏好子网中GRU单元在每一个时间步长的隐状态向量即历史偏好向量和用户广告点击序列作为输入，以差位结合的方式借助PAGRU融合t时刻用户广告点击行为与长短期偏好子网在t-1时刻学习到的偏好上下文信息提取偏好漂移特征；所述PAGRU单元设计了偏好注意力门，控制偏好上下文信息对漂移偏好的影响程度，对偏好上下文信息进行激活或抑制，计算方法如下所示： 1 2 3 4 5其中，是时刻PAGRU的隐状态，代表时刻计算得到的漂移偏好；是时刻的用户偏好信息，是时刻的偏好注意力门，代表时刻用户所购买商品的嵌入向量，是重置门，是更新门，是候选状态，和、分别是偏好漂移子网对应偏好注意力门的两个参数矩阵和偏置项，、、、分别是偏好漂移子网对应重置门的三个参数矩阵和偏置项，、、、分别是偏好漂移子网对应更新门的三个参数矩阵和偏置项，、、、分别是偏好漂移子网对应候选状态的三个参数矩阵和偏置项，、分别为、激活函数；是向量点乘运算；S3.3、基于SEAttention中的压缩-激活结构搭建偏好融合网络：偏好融合网络接收长短期偏好提取网络和偏好漂移网络提取的长短期偏好特征和偏好漂移特征作为输入，采用全局平均池化将多偏好特征压缩至单通道，通过双层bottlenect结构的FNN进行偏好融合，学习多特征跨通道间的复杂交互关系，获得偏好融合特征；S4、采用预处理得到的训练数据集对基于用户偏好网络的点击率预估模型进行迭代训练；S5、输入用户完整的广告点击序列，利用训练获得的基于用户偏好网络的点击率预估模型学习用户偏好特征，获得点击率预估结果。

全文数据：

权利要求：

百度查询： 华南理工大学 一种基于用户偏好的广告点击率预估方法