Libx

《计算广告》阅读笔记(在线广告综述)

字数统计: 6,219阅读时长: 22 min
2020/03/04 Share

在线广告市场与背景

Capter1 在线广告综述

从数据的角度看,在线广告开启了大规模,自动化的利用数据来改善产品和提高收入的先河。在很长的一段时期内,大数据这一方法论在实践中唯一形成规模化营收的落地行业就是在线广告。
为了在宏观上对在在线广告有一个把握,将从两个方面讨论

  1. 内涵: 即这种商业活动的定义与目的
  2. 外延: 即在线广告发展的简要历史和发展过程层中产生的关键产品形态。

需要建立的一些观念:首先广告不等同于搜索或者推荐,他首先是一项商业活动,然后才是一项在互联网环境下需要技术优化的商业活动。其次,在这一商业活动中,广告主、媒体、用户的利益都要被认真考虑。在线广告市场的所有产品和商业形式的演进都是在这一主题下发生的。在商业逻辑下思考和探索计算广告技术非常关键。

1.1.大数据与广告的关系

一个模型

Volumn(规模)、Variety(多样性)、Velocity(高速)、Value(价值)来描述大数据问题的特性:

  • C类问题:可以通过很低的采样率来解决问题。归类于传统数据处理问题,而非大数据问题。一般的数据报表,报告等。
  • A类问题: 小部分数据无法代表全量:随着采样率降低、解决问题的收益会下降。这是典型的大数据问题,是推动大数据技术发展的原动力。个性化推荐和计算广告需要用到每一个人的行为数据进行推送,而无法采样其中的一部分人来处理。也随之产生了Hadoop、NoSQL等技术
  • B类问题:处理效果随着数据量上升有一定提高,但当数据大到一定规模后,增加数据量价值就不大了。比如文本文档模型,也随之诞生了Spark这样的更加高校灵活的计算框架。

可以认为:计算广告是非常典型的大数据应用,并且得到了充分的商业化和规模化。

计算广告的借鉴意义

  • 为规模化的用户行为数据转化了可衡量的商业价值提供了完整的产品线,并且创造了互联网行业的大部分营收

  • 在线广告孕育和孵化了较为成熟的数据加工和交易产业链,并对其中的用户隐私边界有深入探讨。

  • 由于有了商业上的限制条件,计算广告的技术和产品逻辑比单纯的个性化系统更加复杂周密。因此,理解在线广告的产品和市场对于设计正确有效的商业产品大有益处。

1.2.广告的定义与目的

什么是广告?

广告是由已确定的出资人通过各种媒介进行的有关产品(商品、服务和观点)的,通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。– William F.Arens《当代广告学》

几个关键点:

  1. 主动参与方 出资人和媒体,在数字广告这样更加复杂的市场结构中,我们可以用一般性的术语来描述它们:这里的需求方可以是广告主(advertiser)、代表广告主利益的代理商(agency)或其他技术形态的采买方;这里的供给方可以是媒体,也可以是其他技术形态的变现平台。另外,要特别注意的是,广告还有一个被动的参与方,即受众(audience)。
  2. 出资人、媒体和受众这三者的利益博弈关系是广告活动永远的主线,这一主线将贯穿于商业和产品形态的整个演化过程
  3. 广告必须是有偿的、非人员的信息传播活动。这两点限制,前者使得广告的目标变得明确,后者使得这一目标可以采用及算法的方式来优化,这些是计算广告产生的基础。

广告的本质

  • 传统媒体时代:
    • 品牌广告
    • 直接效果广告
      大量投送和优化效果的能力有限
  • 互联网广告:
    • 兼具品牌和效果。高速发展由于效果广告市场带来的巨大红利。

虽然兼具两种目的,但依然可以概括为:
广告的根本目的是广告主通过媒体达到低成本的用户接触
也就是说,按某种市场意图接触相应的人群,进而影响其中的潜在用户,使他们选择广告主产品的几率增加,或者对产品性价比的苛求程度降低,这才是广告的根本目的。

在互联网环境中,广告的本质虽然没有变化,但是由于大量直接效果需求的产生,其表现形式越来越丰富和灵活了。不论是与线下类似的横幅、搜索竞价排名,还是软文,甚至是表面上与广告并不相干的游戏联运,其本质都是付费的信息推广,从产品和技术的角度来看都可以归在广告的范畴下。因此,对于互联网广告,有如下的认识:一切付费的信息、产品或服务的传播渠道,都是广告。

1.3.在线广告创意类型

按形式分类

  1. 横幅广告 banner ad
  2. 文字链广告 textual ad
  3. 富媒体广告 rich media ad
  4. 视频广告 video ad
  5. 社交广告 social ad
  6. 移动广告 mobile ad
  7. 邮件定向营销广告 E-mai Direct Marketing EDM

    按目的/效果分类:网络广告兼有品牌和效果两方面的功能

  8. 品牌广告(Brand Awareness):长期投放,用于建立品牌形象、建立品牌理念,而不诉求直接销售量的广告
  9. 直接效果广告/效果广告(Direct Response):短期投放,为了提升产品销售量或提高知名度而投放的广告,因此通常按效果计费(CPA或CPS)
  10. 展示广告(display advertising):以图形展示为核心的广告形式,如常见的banner、视频广告等,通常以CPM、CPT为计费方式

1.4.在线广告简史

这部分内容比较多,缺失上下文不太容易理解,所以copy了书上内容。

一些名词解释

计费方式
  • CPT(Cost Per Time):按展示时长计费;可以充分发挥橱窗效应,但无法利用受众定向技术,效率较低;使用于高曝光的品牌广告
  • CPM(Cost Per Mille):即“千人成本”,按访问量(每千人的访问量)计费,是目前最主流的结算方法,具备受众定向能力,适用于实时竞价广告
  • CPC(Cost Per Click):按点击次数计费
  • CPA(Cost Per Action):按用户行为、实际投放效果计费,如用户的注册、购买、安装行为,供给方运营难度较大,而需求方无任何风险,适合于效果广告
  • CPS(Cost Per Sell) ROI(Return On Investment):同CPA,都是按实际效果计费的方式,ROI即常说的“投资回报率”

阶段一:传统合约广告模式

合约广告的模式是一种担保式投送(Guaranteed Delivery,GD),即保证广告的投放量,确定合同总金额,未完成投放量则实行赔偿方案。它产生于在线广告的初期阶段,是最早的交易模式,那时网络流量多被大型媒体所垄断,因此它们可以将大量流量完整地打包出售,并签订合约,而那些拥有少量流量的中小媒体则往往无权交易,碎片化的流量市场暂未被开拓

  • 产品形态:传统展示广告(display advertising)
  • 交易模式:合约广告模式
  • 计费方式:CPT、CPM

缺点:其实就是线下广告的投放模式,以合同方式确定广告投放总量和展示单价,交易和投放方式十分传统

阶段二:定向+合约广告阶段

产生原因:供给方/媒体为了拆分流量,以获得更高的收入,因此开发了受众定向技术。这种方式将大众变为分众,同时也把过去同一份广告卖出两份的钱;最初的受众标签设定属于较粗的粒度,而后也越来越精准

产品形态:定向广告(targeted advertising),即不再把广告投给所有人,而是面向不同的受众,赋予其不同的用户标签,并投放不同的广告。由此,广告主从广告位的采买,变成了面向受众人群的采买

交易模式:合约广告模式

计费方式:CPM

技术要求:其一,受众定向(audience targeting),要求能运用技术将受众进行精准地标签化;其二,广告投放(ad serving)变为分众式投放,因此要将过去直接嵌入页面的广告,变为实时响应,广告页面随时根据前端要求改变内容。

综合以上,阶段一、阶段二都属于合约广告时代,在此对“合约广告”进行详述

合约广告类别:
  1. 广告位合约:直接嫁接传统线下广告投放方式,按CPT付费,在此情况下,供给方和需求方的技术成本都不高,需求方仅通过广告代理(4A等)进行媒介采卖(media buy),供给方使用广告排期系统进行管理(DoubleClick的DFP与中国的Allyes)
  2. 受众定向:按地域/人口属性/频道/上下文/行为/精准位置/新客推荐/团购等定向方法,还有重定向(retargeting),即对广告主过去一段时间的访客投放广告
  3. 展示量合约:指约定某种受众条件下的展示量,按照事先约定的单位展示价格来结算,即GD(担保式投送),在目前也是CPM广告的代称
合约广告的重要环节:
  1. 流量预测:预估该媒体中会产生的流量总数,便于进行售前指导/出价指导,如果低估了平台流量,可能导致售卖不足,利润无法最大化;如果高估平台流量,可能导致超售,无法满足合约
  2. 流量塑形(traffic shaping):通过主动影响流量来实现合约达成,综合性门户网站是典型例子,网站通过优化导流与跳转页布局,为用户点击链接提供便利,实现最大的到达率
  3. 在线分配:即通过设计分配策略,实现高效的流量分配。展示合约都面临的问题:在流量/广告位有限,而满足合约的人群大量重叠的情况下,要实现利益最大化,如何让各个合约都被满足?

(在线分配:大家可以理解为数学中的分配问题:现在有A名学生,B辆大车,C辆小车,如何选取成本最小;在线分配则是,现在有多个合约,分别要求触达A名上海居民,B名男性,而我的数据库如何对上海居民、男性的用户数量进行分配,才能尽可能满足多个合约,实现利益最大化)

阶段三:定向+竞价广告阶段

产生原因:供给方/媒体的目的在于追求利益最大化,而合约交易模式面临一个问题:在广告位有限的情况下,同一个展示往往能同时满足多个合约,如果继续进行在线分配,就浪费了很多本来可以卖的更贵的流量(合约交易意味着固定的价格,以及有限的交易对象,而广告主相互竞价则可以抬高价格,供给方获得更多利润),因此出现竞价广告,是在线广告发展的里程碑

产品形态:受众定向投放

交易模式:竞价交易替代合约交易。它将量的约束从交易过程中去除(不再保证固定投放量与规定合约总价),仅采用“价高者得”的方式来实现利益最大化

竞价方式:类似于拍卖制度,买家轮番“举牌叫价”,产品最终由价高者获得。

值得注意的是,在线广告的竞价逻辑多采用GSP,即广义第二高价理论(Generalized Second Price, GSP),指在只有一个位置的拍卖中,出价最高的广告主赢得广告位后,只需要支付其下一位广告主的出价(排名第二的广告主),而不用按自己的出价来购买。这是一种最合理的竞价逻辑

举例说明:竞价的目的是为了卖家利润最大化,因此往往收取最高的竞价,但在网络环境中,这里存在一个悖论。比如A B C三方同时竞争一个广告位,分别出价1 2 3元钱,因此广告主C直接胜出,A、B则被淘汰。在支付以前,C则会想到:既然高于B的2元则可以获取广告位,我为什么要出3块呢?于是C进而不断调低价格,到2.01元,倘若此时有竞争者D加入,出价2.02元,则成交,那么市场收入就只有2.02元,这样波动的折价方式,会让广告位的价格十分不稳定。

但如果采用GSP,则广告主C出价3元后,实际只用支付B的2元,这时它并没有继续降低价格的动力。而一旦有新的竞争者想加入竞争,如竞争者D,则要出3元以上的价格,比如它出3.5元,那么它则支付C的3元,这时市场的收入变成了3元,高于前一种计价方式

因此,这是一种最优定价策略,可使整个竞价系统处于纳什均衡(Nash equilibrium)状态

VCG是Vickrey、Clarke、Groves在研究中发现的新定价方法,即对于赢得某个位置的广告主,其付出的成本应等同于它占据广告位对其他市场参与者带来的价值损害,但因为十分复杂、难以验证与解释,在实际应用中使用较少
市场保留价:MRP Market Reserve Price 俗称底价或起价,广告主只有在出价高于底价时才能获得竞价机会。起价仅与竞价和质量度有关

实际上,竞价广告最早产生于搜索广告(search ad),最初搜索引擎的变现模式为付费搜索(paid search),实际上也是一种根据用户即时兴趣投放的定向广告,这套方法被转换到其他网络媒体中,但是不再根据即时搜索词,而是根据浏览页面的关键词进行投放,即上下文广告(contextual advertising)

  1. 它是以上下文查询词为粒度进行受众定向,并按照竞价方式售卖和CPC结算的广告产品。搜索广告的变现能力eCPM(千人收益)远高于一般展示广告,其形式具有原生广告特性,搜索广告目前已经成为互联网广告的主流模式,占广告市场半数以上
  2. 广告投放机制:采用位置拍卖(position auction)即我们常说的竞价排名,假设有一组广告位可使用,则将广告位按价值排序,并将广告主出价排序,并依次对应投放,价高者将得到更好的广告位

以上仅介绍竞价广告时代中的各种产品形态和竞价逻辑。但是竞价过程谁来进行呢?还是广告主和媒体进行对接吗?另一方面,受众定向技术,让那些分众的小流量也有了买卖空间,这些闲置流量谁来开发?

由此,催生了一种市场模式:广告网络

广告网络 (ad Net-work,ADN)

ADN概念:是最早的广告交易代理形态,负责批量运作广告位资源,也负责广告位的售卖与广告精准投放

ADN产生原因:

  1. 传统的广告主-媒体的交易形式耗费大量时间精力,且面临信息沟通不畅的问题
  2. 随着用户定向技术的出现,分众投放成为可能(以前粗糙的大众投放方式,并不需要那些粒度较细的分众流量)但许多拥有少量流量的媒体,无法自己变现(因为流量太少而无法出售,就像你拿着两颗玉米,去农产品批发市场卖东西一样),这就需要一个平台,对“散户”的流量进行聚合

[合约广告售卖方式无法消耗所有库存,很多企业流量不够庞大,难以通过合约方式进行售卖,这部分流量被称为剩余流量(remnant inventory),ADN则通过批量聚合剩余流量,进行用户定向的流量切割方式售卖给广告主,对中小网站而言,甚至没有可以按合约售卖的流量,则直接交给广告网络实现变现]

ADN优势:

  1. 广告交易更便捷迅速
  2. 使大中小媒体都有了流量变现的方法

ADN缺点:ADN的本质是一个中间商,并不是一个自主、透明、实时的交易平台,其目的在于聚合剩余流量,出售并赚取分成,因此有以下弊端

  1. 无法达成自主交易:它并不是淘宝一样的“平台”,而是中介/中间商,竞价逻辑、竞价结果、投放方式都是由它来决定的,买主和卖主无法看见,也不无法选择自己的买卖对象,只能将一切进行托管,实际上牺牲了双方的利益,交易自主性也受到束缚
  2. 无法提供定制化标签:ADN的定位并非成为优质的服务平台,它仅仅是流量聚合平台和交易代理。因此,这里就出现一个问题:如果XX银行想把广告投给自己的潜在客户/忠实客户,这种用户标签谁来制作?——这就是“定制化标签”,ADN只能根据第二方数据提供显性标签(如性别 兴趣)它无法、也不会设法满足广告主“定制化标签”的精准投放需求。

ADN案例:Google Display Network;淘宝客

竞价广告除了ADN,还有各种需求方产品,与之前不同的是,这是需求方、广告主方面的产品,旨在维护其利益并提供服务,需要为广告主解决两个基本问题:其一,如何挑选合适的目标人群,其二,如果对不同人群给出合适的定价。具体有以下两种:

  1. 搜索引擎营销SEM(Search Engine Marketing):搜索广告对应的需求方产品,即通过竞价采买搜索引擎关键词来做推广,这就是SEM。主要是对关键词的选取,以及出价问题,由此产生许多SEM公司,负责处理这类定向、出价事宜。
  2. 媒介购买平台:与交易终端(Trading Desk,TD)是类似产品,主要负责ROI的优化,保证对定向的有效性,以及出价的合理性,以实现广告主利益最大化

相关案例:EfficientFrontier 是专门从事SEM优化的技术公司,通过在一定预算的限制下分配各关键词上的投入以达到整体ROI的最优,类似于投资组合的问题

阶段四:实时竞价模式(Real Time Bidding,RTB)

产生原因:如上所述,传统竞价方式依赖于ADN来完成,实际上是ADN盈利的“黑盒子”,而实时竞价的产生,让交易过程公开透明,也满足了广告主对定制化标签的需求点击率:CTR(Click Through Rate) 即广告点击与广告展示的比率

到达率:(Reach Rate) 落地页打开次数与点击次数比例,落地页(landing page)即点击后所跳转的页面

转化率:CVR (Conversion Rate) 转化次数与到达次数的比例

交易模式:实时竞价(RTB)

一方面,实时竞价将交易过程开放,在广告展示时由需求方来判断是否需要出价。

另一方面,用定制化标签指导广告投放是实时竞价的关键产品目标,只需DSP根据采买数据为广告主加工定制标签,就能完成更精准的触达

RTB的产生,让广告市场向透明的比价平台方向发展,这类交易平台即ADX(ad Exchange/广告交易平台),你可以理解为ADN的进阶形态:它用RTB的方式实时得到广告候选,并按照出价简单完成投放决策。在这个平台上,买卖双方均公开透明,双方可自主决策,同时这种透明性也使数据流通,借助需求方与供给方的数据,ADX很容易加工出广告主想要的定制标签(如“潜在客户”)

与ADX对应的采买方,即需求方平台DSP。由此,需求方对流量的控制能力达到了极致,它的技术和算法难度也很大,而供给方则变成了简单的比较平台。

ADX交易过程:由广告主向DSP发起cookie映射,DSP与ADX完成cookie映射,媒体网站向ADX发起广告请求并传送地址,DSP根据双方映射是否符合,来决定是否参与竞价,进而完成交易

ADX弊端:

  1. 对ADX、DSP的数据分析、带宽成本提出了高要求
  2. DSP可以用低价参与竞价,虽然不能竞价成功,但可以低成本获取到用户行为数据,存在信息泄露的风险

ADX案例:RightMedia;DoubleClick ADX

阶段五:程序化交易:

实时竞价还是靠人工进行询价和购买,效率仍有待提高。而在程序化交易中,机器在线协商取代了人工操作,买卖双方不再需要亲自交易。狭义上来说,机器购买出现后,程序化交易才正式形成。

广义上而言,实时竞价是划分在线广告的里程碑,实时竞价出现以后,RTB、ADX、DSP、SSP、DMP等平台,一同构成了完整的“程序化购买/交易”,RTB是其核心内容

根据IAB总结,程序化交易方式分为四类:

  1. 自动化担保(automated guaranteed)
  2. 非预留定价交易(unreserved fixed rate)
  3. 邀请制竞价交易(invitation-only auction)
  4. 公开竞价交易(open auction)

总结:在线广告的发展史,实际上存在两条主线

主线一:即定向技术和交易形式的变化。从固定位置的合约交易,到受众定向且按展示量结算的合约交易,再到传统竞价交易,发展到最终的实时竞价和程序化购买的交易模式

主线二:即广告位与媒体内容的结合。在过去,广告位与内容是两个相互独立的单元,广告主仅对前者进行运营和决策,而搜索与社交广告,让人们意识到内容与广告并非对立关系,产生了新的广告产品即原生广告(Native Advertising)

1.5.泛广告商业产品

泛广告商品产业,本质都是付费推广

  1. 团购:是一种按效果付费的泛广告产品,除了付推广费,还向用户让利以实现转化
  2. 游戏联运:在推广渠道和游戏开发商间分成的效果广告形式
  3. 固定位导航:网址导航、应用分发平台,按时间付费的固定位模式,不是动态竞价模式
  4. 返利购买:电商行业,以折扣、积分激励购买
CATALOG
  1. 1. 在线广告市场与背景
    1. 1.1. Capter1 在线广告综述
      1. 1.1.1. 1.1.大数据与广告的关系
        1. 1.1.1.1. 一个模型
        2. 1.1.1.2. 计算广告的借鉴意义
      2. 1.1.2. 1.2.广告的定义与目的
        1. 1.1.2.1. 什么是广告?
        2. 1.1.2.2. 广告的本质
      3. 1.1.3. 1.3.在线广告创意类型
        1. 1.1.3.1. 按形式分类
        2. 1.1.3.2. 按目的/效果分类:网络广告兼有品牌和效果两方面的功能
      4. 1.1.4. 1.4.在线广告简史
        1. 1.1.4.1. 一些名词解释
          1. 1.1.4.1.1. 计费方式
        2. 1.1.4.2. 阶段一:传统合约广告模式
        3. 1.1.4.3. 阶段二:定向+合约广告阶段
          1. 1.1.4.3.1. 合约广告类别:
          2. 1.1.4.3.2. 合约广告的重要环节:
        4. 1.1.4.4. 阶段三:定向+竞价广告阶段
          1. 1.1.4.4.1. 广告网络 (ad Net-work,ADN)
        5. 1.1.4.5. 阶段四:实时竞价模式(Real Time Bidding,RTB)
        6. 1.1.4.6. 阶段五:程序化交易:
      5. 1.1.5. 1.5.泛广告商业产品