深入浅出程序化交易核心技术

1. 供给方的功能简化成了简单的比价平台，而需求方开始承担广告决策的主要职责。
2. 广告交易平台的主要技术难点在于如何用可行的成本处理大流量的广告请求。
3. 需求方平台（DSP）是算法挑战相对较大的，首先在实时竞价环境下，DSP需要提供重定向、新客推荐等定制化用户标签，而这既需要与第一方数据和商品库打通等繁杂的工程接口，又产生了诸如新客推荐这种第一方数据和第三方数据兼用的受众定向问题。其次，DSP需要像广告网络那样评估点击率，并且会遇到比广告网络更高的准确性要求，另外还需要在面向效果类广告主时同时估计点击价值。实时竞价中的出价是存在优化空间的，这是DSP特有的出价策略问题，也是对DSP收益影响很大的问题。
4. 供给方平台（SSP）其核心优化问题是面向多个广告网络时的收入优化问题，可以看成与广告交易市场中的询价优化相类似的问题。
5. 广告交易平台（ADX）是架构上相对简单的广告产品，这一架构主要涉及的是在线广告请求时的系统过程。当用户访问媒体页面，广告请求发至ADX后，ADX向各个接入的DSP发起询价并完成比价决策，然后将胜出的DSP返回给媒体页面进行广告投放。
6. 在线广告在不同的广告形式中，采用的用户身份标识也不尽相同。在Web环境下可以用HTTP协议提供的cookie机制来完成。在有用户登录信息的广告产品中，用户登录的身份是比cookie更强的身份标识，最典型的出现在社交广告中。

7. 媒体与DMP间cookie映射流程：
   

   1. 用户到达媒体页面
   2. 向媒体的cookie映射服务请求一段负责此功能的JS代码。
   3. 媒体的cookie映射服务返回JS代码。
   4. JS代码判断要映射的话，向DMP发起cookie映射请求，并传送两个参数：媒体标识（mid）和媒体的cookie（mck）。
   5. DMP返回一个1*1的beacon，并记录下媒体方的cookie（mck）和己方cookie（dck）的对应关系。

8. DSP与ADX之间的用户对应问题。
   

   1. 用户访问广告主页面。
   2. 选择性加载一个DSP域名下的iframe。
   3. DSP判断需要映射的话，返回多个beacon的动态HTML，此处多个beacon的目的是为了同时与多个ADX交换cookie。
   4. 通过其中的某个beacon向对应的ADX发起cookie映射请求，并带有ADX标识（xid）、DSP标识（did）和DSP的cookie（dck）三个参数。
   5. ADX通过302重定向向DSP返回ADX标识（xid）及其域名下的cookie（xck）。
   6. DSP返回一个1*1的beacon，并记录下ADX方cookie（xid）与己方cookie（dck）的对应关系。

9. cookie映射主要关注三个问题：由谁发起？在哪里发起？谁保存映射表？

10. ADX需要在带宽或服务成本的约束下，优化整体市场的eCPM水平，这就需要对每次展示中的询价的DSP数目做精简，这个问题称为询价优化。

11. 询价优化的两个思路：

    • 工程规则：DSP有相当一部分是按照广告主定制标签来采买流量，这类DSP一般只会在自己感兴趣的人群（也就是cookie映射过的用户群）上出价，ADX可以先验知道这一用户群，因此，对这类DSP，如果当前广告请求到达的用户cookie没有与其映射过，那么久不需要向该DSP询价。
    • 算法规则：询价优化问题往往设置成各个DSP获得流量比例的一个上限，而这一上限是根据该DSP一段时间的花费来决定的。
      

12. SSP是与ADX比较接近的产品，一般会实现私有的RTB交易以及网络优化等功能，并且用动态分配的逻辑决定当前展示分配给哪种广告渠道。网络优化问题指的是SSP在接入多个广告网络以后，在线动态决定将广告请求发给哪个广告网络，从而优化整体收入的问题。

13. DSP的优化目标从利润角度来看，除了尽量提高广告的eCPM，还需要尽
    量降低每次广告展示的费用，优化问题可以用公式表示为：
    
    减号前表示可以收益，可以通过eCPM估计来计算；减号后通过出价策略来优化。
    DSP系统架构如下：
    
    其中广告投放的决策流程为：DSP服务器通过RTBS接口收到广告询价请求，然后经过与广告网络类似的决策步骤，包括检索和 eCPM 排序，找到价值最高的广告，并将报价返回给ADX。这样的决策流程，适用于按CPC 或效果付费、以套利为目标的DSP，这类DSP通过优化算法提升广告主的ROI来赚取更多的利润。
    DSP的几个主要技术点有：
    
    • 定制化用户标签。
      重定向技术（将访问广告主网站的某特定用户集合传送到DSP），重定向有两种方式，一种是直接在广告主网站上布设DSP域名的JS代码或者外链图片，另一种是采用线下数据接口的方式，定期将广告主或者其委托的DMP收集到的访客集合批处理式地传送给DSP。前一种方式实时性强，但会降低页面访问速度；后一种能迅速获得访客集合，但在数据更新是有延迟，并对广告主方的技术要求较高。
      look-alike（新客推荐）技术。关于该技术，会单独开一篇文章去阐述。
    • DSP的点击率预测
      DSP的点击率预测对准确性要求高，而且离线测试与线上测试存在一个系统性的偏差。某部分流量上真实点击总数与各展示预估CTR之和的比例称CoPC（Click onPredicted Click），在实际系统中，CoPC也是需要重点关注的指标之一，它表征着某部分流量上是否存在明显的点击率高估或低估。应
      该更多地根据线上实测的结果来判断一个模型的好坏与取舍。
    • 点击价值估计
      DSP代表的是广告主的利益，往往可以通过在广告主网站布设代码等方式获得转化数据，按CPS/CPA/ROI等转化效果方式与广告主结算。在这种结算方式下，除了要按广告网络那样估计点击率，还需要估计点击价值。我们来看点击价值估计的问题：
      
      点击价值可以分解为到达率（reach）h、转化率c和转化单价t三个量的乘积。到达率指的是实际打开广告落地页次数与点击次数的比例，这与广告主网站的页面打开延迟关系最大，与媒体的属性、特别是误点情况也有一定关系，因此可以认为它与广告主 a 和媒体 c 有关；转化率指的是到达落地页以后，有多少比例产生了广告主定义的转化行为，这主要与用户对广告主产品的兴趣有关，因此是广告主a和用户u的函数；转化单价在 CPA/CPS类的广告中是广告主指定的转化费用，而在ROI类广告中是广告主客单价与分成比例的乘积，因此我们认为转化单价主要与广告主a相关。当然，上面的讨论非常近似，实际上a、u、c三个变量都对到达率、转化率和转化单价有一定的影响。到达率与转化
      单价都不难统计，而转化率的估计是一个比较困难的问题。这首先是因为
      转化比起点击还要稀疏得多，用机器学习的方法建模存在较大困难。实践中比较可行的办法基本上都是简单统计与运营经验相结合来估算转化率。
    • 出价策略
      出价策略也是一个量约束下的效果优化问题，可以很自然地想到用在线分配的问题框架来解决。根据上面的问题描述，可以把出价策略描述成如下的优化问题：
      
      用 ria 表示供给节点 i 分配给广告a的单位流量收益，用mi 表示供给节点i上的市场价格。由于第二高价的存在，市场价格就是成本，而ria−mi就是单位流量产生的利润。公式里的需求约束表示的是每个广告主的花费不能超过其预算。因此，这个优化问题的物理意义是，在广告主预算的约束下最大化DSP的收益。注意到在供给约束中，所有的xia 分配比率加起来可以小于1，也就是说，对在线到来的询价请求可以有一定不参与竞价的概率，这也反映了出价策略的本质。
      在估计ria 和mi 时，比较重要的一点是如何将流量划分到合适的供给节点上，在最彻底的情形下，还是可以将每次展示作为一个供给节点，直接利用eCPM估计的模型来计算ria，并建立一个专门的市价预测模型来估计mi。不过，由于对市价mi 的估计远远没有对eCPM的估计那样可靠，不宜使用过于复杂的模型和算法，一般来说，主要使用时间、地域、媒体属性等影响明确的因素来进
      行预估。