欢迎来到青之峰员工网站, 青之峰是常州百度总代理,提供百度搜索推广、网站建设、等网络营销推广服务!
咨询热线:1319672639当前位置: 常州百度推广 > 百度资讯 >
百度资讯
联系我们
电话咨询:13196726392
E-mail:xujie@myqingfeng.cn
地址:常州市科教城创研港2号楼十楼

强化学习技术,百度利用AI优化广告投放效率

作者/整理:常州青之峰徐杰 来源:小编 2018-05-08

    截至3月31日的第一季度财报显示,百度第一季总营收猛增31%,至 209 亿元人民币(33.3亿美元),净利润 67 亿元(11亿美元),每股收益 16.6 人民币 (2.60 美元),均高于市场预期。数据是一片大好,看起来百度正走出低谷期。
这得益于两个方面,一是组织的优化,百度壮士断腕,抛弃了不少累赘业务;另外,也是因为在 AI 方面的押注取得了回报。
AI 带来的盈利,最直接还是体现在了广告上。陆奇表示这一季度里,百度首次在广告系统凤巢里,部署了强化学习技术,能实现更精准的营销。这达到了一个工程上的新里程碑。
强化学习其实不是个新鲜概念了,那么它具体是干啥?百度如何用它赚钱的?
 
真正意义上的自学成才
    强化学习是机器学习的一个分支,相对应的是监督学习,还是拿 Alpha Go 举例:过去采用监督学习的 Alpha Go,需要输入大量人类棋手的下法、对弈棋局等数据,然后通过模拟完成“左右互搏”,最终不断寻得更科学的下法,也就是说,它其实还是在“模仿”人类。而采取了强化学习的最强版本 Alpha Go Zero 不同,它不需要对着人类的玩法照猫画虎。了解到基本的规则以及最终要达到的目标后,就开始“随便下”,如果下赢了,就会得到奖励,然后指导下一步的决策;如果输了,就会有惩罚。在这种尝试——反馈——学习的过程中,完成自我进化。强化学习是机器学习的一个分支,
 
相对应的是监督学习,还是拿 Alpha Go 举例:
 
    过去采用监督学习的 Alpha Go,需要输入大量人类棋手的下法、对弈棋局等数据,然后通过模拟完成“左右互搏”,最终不断寻得更科学的下法,也就是说,它其实还是在“模仿”人类。
而采取了强化学习的最强版本 Alpha Go Zero 不同,它不需要对着人类的玩法照猫画虎。了解到基本的规则以及最终要达到的目标后,就开始“随便下”,如果下赢了,就会得到奖励,然后指导下一步的决策;如果输了,就会有惩罚。在这种尝试——反馈——学习的过程中,完成自我进化。
某种角度来看,强化学习更接近智慧生命体的思维模式。通过不断地试错,获得来自环境的反馈,从而获取到更多地知识和数据。那么,它能带来什么好处呢?显而易见,一是无需在前期输入大量的数据,减少准备的时间和成本,毕竟优质的大数据并不是随时都能获取的;二是适应性强,它是真正意义上的“完全自学”,几乎能被应用在任何领域,理论上讲,如果算力跟得上,它能解决任何问题。
当然问题也出在这儿,因为完全是“两眼一抹黑”式的自我探索,所以强化学习的运算量要远远超过监督式自我学习;另外,它的过程也完全不可控,失之毫厘谬以千里,所谓“蝴蝶效应”,这导致结果的随机性太强,容易跑偏。
 
百度是如何应用的?
    说回到百度本身,原理上边都说了,那么百度是如何用它优化广告投放效率的?
1、如何实现?
 
    百度没有过多的介绍,不过其实原理也很简单。在广告系统中加入强化学习模型,它会实时记录浏览、点击、转化等关键数据,并通过自我学习对投放进行优化,让广告能更精准地匹配到目标客群。
带来的效果就是,客户爸爸们的钱能花在刀刃上,花更少的钱,得到更精准的曝光。当然,百度和 Google 们过去一直都是这么做的,只不过这是技术的有一次升级而已。
2、为什么要用强化学习?
 
    就像之前提到的,它的优势在于:无需在前期就输入大量数据,直接可以上线,并在线完成学习的过程。
因为对于许多广告来说,它并没有太多可以参照的数据,前人虽有成功案例,但时间、平台、目标人群的不同,都会导致过去的经验没法直接套用,监督式的机器学习算法,学无可学。
这时候,强化学习就有用武之地了,它可以分析投放广告本身的效果,而无需去寻找其他大数据作为参考,即插即用,方便快捷。
    据量子位报道,长安汽车就在使用之后发现CTR(点击通过率)显著提高,转化价格明显降低,于是将每日投放预算提高了5倍。
    不过,就像上文提到的,强化学习也有其自身的问题。如何优化模型,使最终结果更快、更可信,是百度要面临的技术考验。
    就像前 Facebook 工程师 Jeff Hammerbacher 的那句名言“我们这一代最聪明的人,竟然都在这里思考着怎样让人们去大量的点击广告”一样,百度的技术说得头头是道,结果最后还是投广告的事,肯定免不了被批判一番。
但其实,人类历史上,任何技术的诞生初衷,都是为了商业服务的,而商业带来的资本也能反哺技术的迭代。这个过程循环反复,社会和文明自然而然就实现了进步。