*
    计算广告学
    合约广告系统(Agreement-based Advertising)
    竞价广告系统(Auction-based Advertising)
    广告交易市场(Ad Exchange)


    ==================广告的基本知识===================
    *广告的目的
    广告系统和推荐系统很像
    文字链广告点击率高于图片广告点击率
    文件推荐低于图片推荐
    广告学相关的书
    广告的定义,只有当碰到一些情况后,才能理解定语

    advertiser 广告主
    medium 媒介
    audience 受众
    注: 广告主希望媒介去影响受众

    计算广告分类:
    Brand Awareness 品牌广告: 长期的,离线转化率
    Direct Response 效果广告: 短期内的,赚钱的,转化率

    *广告的有效性模型
    选择
    exposure 曝光: 广告位的天然属性。技术无法优化
    attention 关注: 可有技术优化(1.不要打断用户的任务;2.明确推荐原因;3.符合用户的兴趣或需求)
    解释(用户接受了广告之后)
    comprehension 理解: 用户需要能理解广告(电视广告能有更多时间让用户来理解广告)
    message acceptance 信息接受: 用户是否能接受广告的理念(大的媒体、不能投在垃圾流量里)
    态度
    retention 保持: 让用户记住广告(艺术性打来记忆效果)
    purchase 购买: 真正的转化阶段(在用户的价格敏感接受范围内)
    注:越前面的阶段对点击率的影响越大
    越后面的阶段对转化率的影响越大
    广告位不能完全看流量,跟媒体的影响力也有很大关系

    传统广告策略:
    幽默(+关注、-理解)
    性感(+关注、+/-信息接受)
    艺术(-理解、+保持)
    折扣(+关注、+购买)

    在线广告创意原则:
    仿背景(+关注、+曝光)
    大标识(+关注)
    简单 (+关注、+理解)

    *广告与销售的区别
    advertising 广告: 传播企业形象和产品信息(特定用户、潜在用户)
    sales 销售: 提高产品销量与收益(有较明确需求者)

    广告渠道效果:
    硬广 < SEM(搜索广告) < 导航网站 < 淘宝直通车 < 返利网
    做品牌广告,媒体带来的差别会更大
    精准广告不同于营销和CRM

    *在线广告的特点
    计算成为主导,商业逻辑成为辅助
    可衡量性
    标准化
    媒体概念的差异化
    离线广告:由客户关系推动;成本高
    美国广告行业协会
    Interactive Advertising Bureau: 为在线广告服务,目的是把线下广告的预算都般到线上(Google, Yahoo, Microsoft, Facebook)
    American Association of Advertising Agencies: 为传统广告代理者服务(Ogilvy & Mather, JWT, McCann, Dentsu)
    Association of National Advertisers: 代表广告主的利益(AT&T, P&G, NBA)

    *在线广告市场
    demand 需求方: 不完全指广告主,还包括代表广告主利益的公司
    supply 供给方: 不完全指媒体,还包括代表媒体利益的公司
    advertisers: 广告主(demand)
    publishers: 媒体方(supply)
    audience: 受众
    第一阶段: 4A公司的线上买卖
    Agency: 代理(4A公司)
    第二个发展阶段: 竞价平台
    Ad Servers: 是publisher的广告投放工具,受众定下的前提下的广告投放引擎
    Ad Networks: 在广告竞价平台产生以后,非xx的流量变现的重要渠道
    典型的表现形式: 中小网站通过百度联盟、淘宝客、adsense把流量变现
    广告网络(联盟营销),由媒体返点,给媒体卖的广告位越多赚得也越多
    Media Buying Platforms: 代表demand从Ad Networks里买流量的技术公司(很多有钱的4A公司衍生出来),supply技术发展了变成Ad Networks,需要与Ad Networks去对接
    ATD: 是非实时竞价
    Data Suppliers: 加工信用卡交易数据等,提供数据给DMP(严格的隐私保护前提下)
    DMP: 数据管理平台,提供给Ad Networks或Ad Exchange平台
    第三个发展阶段: 广告交易平台
    Ad Exchange: 广告交易平台
    DSP(Demand-Side Platform): 实时竞价(代表demand方的利益交易,demand方的技术平台)
    SSP(Supply-Side Platform): 比较新的商业心态,通过算法把流量接入不同的Network(代表supply)
    像Ad Networks,完全站在媒体的利益考虑,收益绑着媒体走,根据媒体的收益分层(优化每个广告位的具体广告)

    从媒体的变现手段出发,有如下3重:
    1.在Ad Network注册,托管广告位,然后按点击结算
    Media->Ad Networks->Ad Exchange->...
    ->ATD->...
    2.托管给广告交易市场
    Media->Ad Exchange->DSP->Agency
    ->Add Networks->ATD->Agency
    ->Advertiser
    ->DSP->Advertiser
    3.
    Media->Ad Networks->ATD->Agency
    ->SSP->Ad Networks->ATD->Agency
    ->DSP->Advertiser

    *计算广告核心问题和挑战
    1.算是一个研究方向,还算不上学科
    2.计算的核心问题: ROI(a,u,c)
    1.从优化角度来看
    特征提取: 受众定向(把u和c打上标签的过程)
    微观优化: CTR预测(点击率的预测)
    宏观优化: 竞价市场机制(市场是a,u,c三者的博弈过程,必须合理)
    受限优化: 在线分配(在量固定的情况下,怎么优化质)
    强化学习: 探索与利用(如何知道新的广告主和用户群的组合)
    个性化重定向: 推荐技术
    2.从系统角度来看
    候选查询: 实时索引
    特征存储: No-sql技术
    离线学习: Hadoop
    在线学习: 流计算
    交易市场: 实时竞价
    3.主要的挑战
    1.大规模: 在在线应用里算是大的一个,并发是最高的(百万级页面、十亿级用户、每天并发千亿次、低于100ms的延时)
    2.动态性: 需求变化得非常快
    3.丰富的查询信息: 检索标签非常复杂,比普通的搜索引擎复杂
    4.探索与发现: 实现ROI(a,u,c)的最优解

    *广告、搜索与推荐的比较
    1.广告不需要搜索的爬虫技术
    2.广告需要建模的数据比搜索大
    3.准则不一样
    搜索: 以相关性为首要准则
    广告: 以ROI(投资回报率)为首要准则
    4.索引规模
    索引: 是最大的,十亿级
    广告: 最多百万级
    推荐: 百万到亿级
    5.推荐与广告特别像
    推荐:
    个性化是推荐的一个准则
    多样性
    新的热点
    广告:
    使用推荐技术做广告
    推荐是同质化的广告

    *投资回报(ROI)分析
    Investment= #XxCPX (几乎无法优化,买流量的途径很多)
    Return=sum(点击率(CTR)*点击价值(click value))=sum(预期每次展示能带来的价值(eCPM)) (主要的优化目标)
    计算广告学就是为了优化Return,而Return又是eCPM的总和

    google可以很容易的估计出广告与媒体组合的CTR,但是不能估计click value
    demand端自己的系统能很容易的估计click value

    CPM市场: 固定的eCPM,风险由demand端承担,supply最喜欢的变现模式(对品牌广告合理,中国市场的品牌广告是包时段)
    CPC市场: 有广告网络来估计CTR,由demand端的公司来估计click value(较为合理的划分)
    CPA/CPS/ROI市场: 广告市场本身把所有风险承担下来,按最后产品的订单结算(走到另一个极端。存在广告主造假行为,骗展示,提高产品的价格不是为了卖出去,而是为了品牌推广)

    *在线广告系统结构
    分为几大部分:
    1.高并发的投送系统: 10ms的实时决策,百亿次/天的广告投放
    2.受众定向平台(离线): 数据挖掘,机器学习(点击率预测),使用hadoop去实现
    3.数据高速公路: 收集广告系统的日志
    4.流式计算平台: 准实时数据挖掘的平台,实时建索引,比hadoop要快(能做到半个小时一更新)

    分模块:
    Ad serving: 用户访问广告位,RTBS通过广告交易市场过来
    Ad retrieval: 从广告库里把符合的广告找出来
    Ad Ranking: 根据eCPM排序,选择一个最好的投出去
    Stream Computing: 流式计算平台
    Data highway: 把数据传到流式计算平台或hadoop的桥梁
    Session log generation: 整理一个用户一天干了些什么,后面的很多算法都基于这些数据。
    为做人的需求的查询报表。
    为做受众定向。
    为做点击率预测模型,即机器学习模型,用来计算eCPM。
    Page attributes system: 爬出有广告投放标签的页面
    Customized audience segmentation: 自己划分人群(精准的人群划分,为了不浪费流量),广告网络和媒体是做不到的(引出DSP的概念)。广告主的信息要注入到媒体里来投广告。
    AE: 由投广告的人实际操作的系统
    RTBS: 实时的别人向我要广告
    RTBD: 实时的我向别人要广告
    Audience targeting: 受众定向,更加用户的行为为用户打上标签
    Data warehouse: 数据仓库
    Ad management system:


    ==================合约广告系统===================
    *常用广告系统开源工具
    基于hadoop(google用自己的GFS)
    离线: Hbase、Cassandra、Oozie、Pig、mahout、Elephant-bird
    在线: Thrift、Storm、Scribe、ZooKeeper

    Thrift: 为了跨语言通信
    在IDL文件中写数据结构和服务接口,然后由thrift自动生成相应语言的服务框架的代码
    类似工具有hadoop自带的Avro、google的protocol Buffer

    *合约广告简介
    离线的广告售卖方式:(国内还有很多门户以这种方式在做)
    广告商(广告主): 有个广告目的
    4A公司(代理商): 帮广告主创意和设计,执行排期,然后买广告位进行投放,分析怎么投能达到预期的效果
    供给方: 广告排期系统(即在页面按时显示广告)
    帮助媒体自动执行多个合同排期
    需求方: 代理商(4A公司)
    帮组广告商策划和执行排期
    用经验和人工满足广告商

    担保式投放与广告投放:
    担保式投放
    媒体卖的是流量,而不是广告位
    把广告位,按人群分开卖,增加收入
    与广告商签的合同,有明确人群展示量的要求(即Guaranteed Delivery,GD。担保的是数量)
    产生了计算问题: 广告投放机(Ad server)。这是CPM的基本需求。
    点击率预测
    流量预测
    受众定向(写在合约里的)
    从技术角度看: 把静态插入广告,改成由服务器端计算具体投诉的广告


    ==================广告交易市场===================
    广告交易市场:
    AD Exchange
    使用RTB连接广告上下文
    按展示收取广告主费用(很关键的商业逻辑)
    实时的去向下游的DSP请求广告,由DSP去做实时竞价
    优点:
    demand也参与进来,因为人群定向标签很难满足demand的需求,由demand自己挑选
    把点击率和点击价格都交给demand
    核心业务:
    提供媒体网络和广告主网络之间的交易平台
    提供托管和RTB两种交易模式
    缺点:
    DSP可以恶意获取行为日志,从ADExchange获取没有成本的数据
    时间延迟,大概100ms(对最后的点击率会有影响)
    serving成本高了,即DSP需要处理的流量都变高了,ADExchange的算法变复杂了
    cookie mapping:
    用来确定用户群
    demand端的技术含量会越来越高
    Supply side platform:
    SSP
    完全代表媒体利益
    媒体有三种方式卖流量(1.自己做RTB;2.给广告联盟;)
    接各种东西,让市场转起来
    Demand side platform:
    把市场决策放到demand端,算法和技术在demand端会有很大的施展空间
    定制划用户人群划分
    通过ROI估计要支持RTB
    不是大平台的流量贩卖,不是大的平台公司
    是功能型的,流量采集和优化
    DSP要代表广告主利益,必须与广告主利益一致,即站在广告主角度考虑

     

     

     

     

     

     

     

     

     


    =======

    *
    计算广告学
    合约广告系统(Agreement-based Advertising)
    竞价广告系统(Auction-based Advertising)
    广告交易市场(Ad Exchange)


    ==================广告的基本知识===================
    *广告的目的
    广告系统和推荐系统很像
    文字链广告点击率高于图片广告点击率
    文件推荐低于图片推荐
    广告学相关的书
    广告的定义,只有当碰到一些情况后,才能理解定语

    advertiser 广告主
    medium 媒介
    audience 受众
    注: 广告主希望媒介去影响受众

    计算广告分类:
    Brand Awareness 品牌广告: 长期的,离线转化率
    Direct Response 效果广告: 短期内的,赚钱的,转化率

    *广告的有效性模型
    选择
    exposure 曝光: 广告位的天然属性。技术无法优化
    attention 关注: 可有技术优化(1.不要打断用户的任务;2.明确推荐原因;3.符合用户的兴趣或需求)
    解释(用户接受了广告之后)
    comprehension 理解: 用户需要能理解广告(电视广告能有更多时间让用户来理解广告)
    message acceptance 信息接受: 用户是否能接受广告的理念(大的媒体、不能投在垃圾流量里)
    态度
    retention 保持: 让用户记住广告(艺术性打来记忆效果)
    purchase 购买: 真正的转化阶段(在用户的价格敏感接受范围内)
    注:越前面的阶段对点击率的影响越大
    越后面的阶段对转化率的影响越大
    广告位不能完全看流量,跟媒体的影响力也有很大关系

    传统广告策略:
    幽默(+关注、-理解)
    性感(+关注、+/-信息接受)
    艺术(-理解、+保持)
    折扣(+关注、+购买)

    在线广告创意原则:
    仿背景(+关注、+曝光)
    大标识(+关注)
    简单 (+关注、+理解)

    *广告与销售的区别
    advertising 广告: 传播企业形象和产品信息(特定用户、潜在用户)
    sales 销售: 提高产品销量与收益(有较明确需求者)

    广告渠道效果:
    硬广 < SEM(搜索广告) < 导航网站 < 淘宝直通车 < 返利网
    做品牌广告,媒体带来的差别会更大
    精准广告不同于营销和CRM

    *在线广告的特点
    计算成为主导,商业逻辑成为辅助
    可衡量性
    标准化
    媒体概念的差异化
    离线广告:由客户关系推动;成本高
    美国广告行业协会
    Interactive Advertising Bureau: 为在线广告服务,目的是把线下广告的预算都般到线上(Google, Yahoo, Microsoft, Facebook)
    American Association of Advertising Agencies: 为传统广告代理者服务(Ogilvy & Mather, JWT, McCann, Dentsu)
    Association of National Advertisers: 代表广告主的利益(AT&T, P&G, NBA)

    *在线广告市场
    demand 需求方: 不完全指广告主,还包括代表广告主利益的公司
    supply 供给方: 不完全指媒体,还包括代表媒体利益的公司
    advertisers: 广告主(demand)
    publishers: 媒体方(supply)
    audience: 受众
    第一阶段: 4A公司的线上买卖
    Agency: 代理(4A公司)
    第二个发展阶段: 竞价平台
    Ad Servers: 是publisher的广告投放工具,受众定下的前提下的广告投放引擎
    Ad Networks: 在广告竞价平台产生以后,非xx的流量变现的重要渠道
    典型的表现形式: 中小网站通过百度联盟、淘宝客、adsense把流量变现
    广告网络(联盟营销),由媒体返点,给媒体卖的广告位越多赚得也越多
    Media Buying Platforms: 代表demand从Ad Networks里买流量的技术公司(很多有钱的4A公司衍生出来),supply技术发展了变成Ad Networks,需要与Ad Networks去对接
    ATD: 是非实时竞价
    Data Suppliers: 加工信用卡交易数据等,提供数据给DMP(严格的隐私保护前提下)
    DMP: 数据管理平台,提供给Ad Networks或Ad Exchange平台
    第三个发展阶段: 广告交易平台
    Ad Exchange: 广告交易平台
    DSP: 实时竞价(代表demand方的利益交易,demand方的技术平台)
    SSP: 比较新的商业心态,通过算法把流量接入不同的Network(代表supply)
    像Ad Networks,完全站在媒体的利益考虑,收益绑着媒体走,根据媒体的收益分层(优化每个广告位的具体广告)

    从媒体的变现手段出发,有如下3重:
    1.在Ad Network注册,托管广告位,然后按点击结算
    Media->Ad Networks->Ad Exchange->...
    ->ATD->...
    2.托管给广告交易市场
    Media->Ad Exchange->DSP->Agency
    ->Add Networks->ATD->Agency
    ->Advertiser
    ->DSP->Advertiser
    3.
    Media->Ad Networks->ATD->Agency
    ->SSP->Ad Networks->ATD->Agency
    ->DSP->Advertiser

    *计算广告核心问题和挑战
    1.算是一个研究方向,还算不上学科
    2.计算的核心问题: ROI(a,u,c)
    1.从优化角度来看
    特征提取: 受众定向(把u和c打上标签的过程)
    微观优化: CTR预测(点击率的预测)
    宏观优化: 竞价市场机制(市场是a,u,c三者的博弈过程,必须合理)
    受限优化: 在线分配(在量固定的情况下,怎么优化质)
    强化学习: 探索与利用(如何知道新的广告主和用户群的组合)
    个性化重定向: 推荐技术
    2.从系统角度来看
    候选查询: 实时索引
    特征存储: No-sql技术
    离线学习: Hadoop
    在线学习: 流计算
    交易市场: 实时竞价
    3.主要的挑战
    1.大规模: 在在线应用里算是大的一个,并发是最高的(百万级页面、十亿级用户、每天并发千亿次、低于100ms的延时)
    2.动态性: 需求变化得非常快
    3.丰富的查询信息: 检索标签非常复杂,比普通的搜索引擎复杂
    4.探索与发现: 实现ROI(a,u,c)的最优解

    *广告、搜索与推荐的比较
    1.广告不需要搜索的爬虫技术
    2.广告需要建模的数据比搜索大
    3.准则不一样
    搜索: 以相关性为首要准则
    广告: 以ROI(投资回报率)为首要准则
    4.索引规模
    索引: 是最大的,十亿级
    广告: 最多百万级
    推荐: 百万到亿级
    5.推荐与广告特别像
    推荐:
    个性化是推荐的一个准则
    多样性
    新的热点
    广告:
    使用推荐技术做广告
    推荐是同质化的广告

    *投资回报(ROI)分析
    Investment= #XxCPX (几乎无法优化,买流量的途径很多)
    Return=sum(点击率(CTR)*点击价值(click value))=sum(预期每次展示能带来的价值(eCPM)) (主要的优化目标)
    计算广告学就是为了优化Return,而Return又是eCPM的总和

    google可以很容易的估计出广告与媒体组合的CTR,但是不能估计click value
    demand端自己的系统能很容易的估计click value

    CPM市场: 固定的eCPM,风险由demand端承担,supply最喜欢的变现模式(对品牌广告合理,中国市场的品牌广告是包时段)
    CPC市场: 有广告网络来估计CTR,由demand端的公司来估计click value(较为合理的划分)
    CPA/CPS/ROI市场: 广告市场本身把所有风险承担下来,按最后产品的订单结算(走到另一个极端。存在广告主造假行为,骗展示,提高产品的价格不是为了卖出去,而是为了品牌推广)

    *在线广告系统结构
    分为几大部分:
    1.高并发的投送系统: 10ms的实时决策,百亿次/天的广告投放
    2.受众定向平台(离线): 数据挖掘,机器学习(点击率预测),使用hadoop去实现
    3.数据高速公路: 收集广告系统的日志
    4.流式计算平台: 准实时数据挖掘的平台,实时建索引,比hadoop要快(能做到半个小时一更新)

    分模块:
    Ad serving: 用户访问广告位,RTBS通过广告交易市场过来
    Ad retrieval: 从广告库里把符合的广告找出来
    Ad Ranking: 根据eCPM排序,选择一个最好的投出去
    Stream Computing: 流式计算平台
    Data highway: 把数据传到流式计算平台或hadoop的桥梁
    Session log generation: 整理一个用户一天干了些什么,后面的很多算法都基于这些数据。
    为做人的需求的查询报表。
    为做受众定向。
    为做点击率预测模型,即机器学习模型,用来计算eCPM。
    Page attributes system: 爬出有广告投放标签的页面
    Customized audience segmentation: 自己划分人群(精准的人群划分,为了不浪费流量),广告网络和媒体是做不到的(引出DSP的概念)。广告主的信息要注入到媒体里来投广告。
    AE: 由投广告的人实际操作的系统
    RTBS: 实时的别人向我要广告
    RTBD: 实时的我向别人要广告
    Audience targeting: 受众定向,更加用户的行为为用户打上标签
    Data warehouse: 数据仓库
    Ad management system:


    ==================合约广告系统===================
    *常用广告系统开源工具
    基于hadoop(google用自己的GFS)
    离线: Hbase、Cassandra、Oozie、Pig、mahout、Elephant-bird
    在线: Thrift、Storm、Scribe、ZooKeeper

    Thrift: 为了跨语言通信
    在IDL文件中写数据结构和服务接口,然后由thrift自动生成相应语言的服务框架的代码
    类似工具有hadoop自带的Avro、google的protocol Buffer

    *合约广告简介
    离线的广告售卖方式:(国内还有很多门户以这种方式在做)
    广告商(广告主): 有个广告目的
    4A公司(代理商): 帮广告主创意和设计,执行排期,然后买广告位进行投放,分析怎么投能达到预期的效果
    供给方: 广告排期系统(即在页面按时显示广告)
    帮助媒体自动执行多个合同排期
    需求方: 代理商(4A公司)
    帮组广告商策划和执行排期
    用经验和人工满足广告商

    担保式投放与广告投放:
    担保式投放
    媒体卖的是流量,而不是广告位
    把广告位,按人群分开卖,增加收入
    与广告商签的合同,有明确人群展示量的要求(即Guaranteed Delivery,GD。担保的是数量)
    产生了计算问题: 广告投放机(Ad server)。这是CPM的基本需求。
    点击率预测
    流量预测
    受众定向(写在合约里的)
    从技术角度看: 把静态插入广告,改成由服务器端计算具体投诉的广告


    ==================广告交易市场===================
    广告交易市场:
    AD Exchange
    使用RTB连接广告上下文
    按展示收取广告主费用(很关键的商业逻辑)
    实时的去向下游的DSP请求广告,由DSP去做实时竞价
    优点:
    demand也参与进来,因为人群定向标签很难满足demand的需求,由demand自己挑选
    把点击率和点击价格都交给demand
    核心业务:
    提供媒体网络和广告主网络之间的交易平台
    提供托管和RTB两种交易模式
    缺点:
    DSP可以恶意获取行为日志,从ADExchange获取没有成本的数据
    时间延迟,大概100ms(对最后的点击率会有影响)
    serving成本高了,即DSP需要处理的流量都变高了,ADExchange的算法变复杂了
    cookie mapping:
    用来确定用户群
    demand端的技术含量会越来越高
    Supply side platform:
    SSP
    完全代表媒体利益
    媒体有三种方式卖流量(1.自己做RTB;2.给广告联盟;)
    接各种东西,让市场转起来
    Demand side platform:
    把市场决策放到demand端,算法和技术在demand端会有很大的施展空间
    定制划用户人群划分
    通过ROI估计要支持RTB
    不是大平台的流量贩卖,不是大的平台公司
    是功能型的,流量采集和优化
    DSP要代表广告主利益,必须与广告主利益一致,即站在广告主角度考虑

    *在线分配问题
    三方博弈,广告分配最优化问题

    *Hadoop介绍

    *
    计费方式
    CPC(Cost Per Click;Cost Per Thousand Click-Through) 每次点击的费用
    CPM(Cost Per Mille,或者Cost Per Thousand;Cost Per Impressions) 每千次印象费用
    CPS(Cost Per Sales):以实际销售产品数量来换算广告刊登金额。
    CPA(Cost Per Action) 按回应的有效问卷或定单来计费,而不限广告投放量
    CPV:展示广告是一种按照实际广告显示量来计费