《计算广告学（刘鹏）》听课笔记4-6

网址： http://study.163.com/course/courseLearn.htm?courseId=321007#/learn/video?lessonId=435079&courseId=321007
 
4.1 位置拍卖理论

搜索广告：多个位置联合拍卖，可以一个不出
展示广告：单个位置，通常一定要出
对称纳什均衡：广告系统的设计目标

定价机制
VCG机制：收费应等于对别人带来的价值损害；truth-telling
Generalized Second Price：广义第二高价，不是truth-telling
第一高价
4.2 Ad Network
淡化广告位概念
计价方式为CPC
不支持定制化用户划分
4.3 广告检索

布尔表达式
DNF格式；conjunction；assignment
index：2层索引
长query，每个term都是should
有效剪枝算法：需要相关性函数是线性
WAND（weighted and）算法
4.4 流量预测

query为ad，对（u, c）联合空间做retrieval
SUM impression(c) * p(price_a - eCPM_c)
4.5 ZooKeeper介绍

分布式环境下解决一致性：消息传递机制

Paxos算法
Proposer(n, value): 
Acceptor：一次任务只批准一个value
Learner：只获得被批准的提案
两段式提交
4.6 点击率预测

Regression vs Ranking

Cold start问题

Online learning

4.7 逻辑回归

Logistic Regression
Generalized Linear Model 在Binomial error时的特例
Maximum Entropy Model在class=2时的特例。ME=Logistic Disriminate Analysis？ 
优化方法
IIS
BFGS：Quasi-Newton的一种，模拟一个Hession矩阵
L-BFGS：limited memory， 对Hession矩阵的逆矩阵降维
ADMM分布式解法
4.8 动态特征

在组合维度上的历史统计值

5.1 探索与利用

Multi-arm Bandit(老虎机）
epsilion-greedy： 使用小流量做探索
UCB（upper confidence bound）策略
linUCB: contextual bandit，使用特征适量代替bound
5.2 搜索广告

特性
用户标签不重要，因为query太强
用户短时搜索行为比较重要
问题
Query expansion：
搜索日志，做cf
文档集合，做topic model
广告日志，按eCPM排序
搜索广告个性化
搜索结果不宜做深度个性化
广告内容个性化效果有限，但广告条数可以做个性化
短时用户行为
同一个session内的行为
需要分钟级别，甚至秒级别，需要流式计算平台
5.3 流式计算平台

S4 vs Strom
S4：全内存，吞吐量大，编程麻烦，可能丢数据
Strom：可能调度磁盘，编程接口类似hadoop，保证不遗漏
Strom
spout、bolt
类似map/reduce架构
调度数据，而不是调度计算
只适用处理实时数据，数据规模不能太大。（适合online learning？）
5.4 广告购买平台（Trading desk）
universal marketplace
非RTB流量的ROI优化
关键问题
例如SEM选词
展示广告的关键词组合
合理的出价
代表公司
EfficientFrontier
核心技术是Portfolio Optimization，和数据积累
被Adobe Omniture收购，改为Adobe Adlens
国外4A公司从广告商收取17.6%费用，国内只有从百度拿6%返点

6.1 广告交易市场

实时竞价通常按照CPM收费

Ad exchange代表公司
RightMedia， Google Adx， AdECN， OpenX
6.2 实时竞价
cookie mapping
ad call
对demand更有利，CTR的估计和点击的价值都交给deman来做

DMP的作用是提高精准性和市场流动性

6.3 Cookie Mapping

beacon（smart pixel）：1x1或0x0的不可见像素

三个问题：谁发起？在哪儿发起？谁存储mapping表？
DSP-Demand site-Adx，存在DSP
DMP-Supply site，存在Supply
6.4 SSP

以优化媒体收益为目标
灵活接入和管理多种变现方式
Yield Optimizer：收入优化
代表公司：
Google AdMeld
6.5 DSP
支持定制化用户划分
跨媒体流量采购
代表公司
InviteMedia，MediaMath
6.6 DSP流量预测

难点：dsp只能拿到赢得的流量，不能获取全部流量

6.7 DSP点击价值估计

挑战
极为稀疏的训练数据
转化是与广告主类型密切相关
原则
用较大的bias换取较小的variance，达到稳健估计
利用广告商类型的层级结构特征，以及转化流程的特征
6.8 DSP重定向
site retargeting
search retargeting
personalized retargeting: off-site recommendation
推荐算法：SVD++的思想

代表公司
Magnetic：search retargeting
Criteo：站外推荐的个性化重定向
动态创意；广告主商品库的准实时feed接口；
采购媒体的优选CPM
不使用cross-site的数据：广告主的数据安全很重要，不能倒卖客户
Look-alike（新客推荐）：利用种子用户；利用客户自定义标签

6.9 demand端推荐方法
站内推荐
站外个性化重定向
新客推荐
6.10 广告流量交易方式
优先销售Premium Sale：品牌溢价
CPT
GD：Ad Server
程序交易Programmatic Trade：偏向Demand的方向
Network optimization：Ad Network
Preferred（优选）
RTB：Ad Exchange