Accelerating AdTech on AWS #AWSAdTechJP
1 like5,410 views
デジタルマーケティング・広告テクノロジーの企業様に対してAWSがどのようにビジネスに貢献できるか事例を用いながらご紹介します。 2016年7月15日にVoyage Group様で開催させていただいたAWS主催の"アドテクノロジー業界セミナー"での登壇資料です。
Accelerating AdTech on AWS #AWSAdTechJP
- 1. Accelerating AdTech on AWS #AWSAdTechJP 2016年7⽉ Amazon Web Services Japan 篠原英治 #AWSAdTechJP
- 2. Name： Eiji Shinohara / 篠原 英治 Role： • AWS Solutions Architect - Ad Tech - Startup • Subject Matter Expert - Search services Twitter : @shinodogg Blog : http://shinodogg.com Who am I? #AWSAdTechJP
- 3. Whatʻs dangerous is not to evolve... 危険な事とは、進化しないことである… Jeff Bezos / ジェフベゾズ #AWSAdTechJP
- 4. AWS AdTechチームのゴール • アドテク企業のお客さまのビジネスをより深く理解し 技術的な課題を⾒出す • データを収集し、結論を導き出し、AWSのソリュー ションを⽤いてそこにどのように貢献できるかを探る • Evolve. お客さまの更なる進化と新サービス開発⼒を AWSのソリューションを通じて加速させる #AWSAdTechJP
- 5. Advertiser Solutions Ad Networks and Exchanges Publisher Solutions 媒体主広告主 マーケター Data Providers AWS AdTechチームのTarget Scope Industry Scope #AWSAdTechJP
- 6. Advertiser Solutions Ad Networks and Exchanges Publisher Solutions 媒体主広告主 マーケター Data Providers AWS AdTechチームのTarget Scope Industry Scope 広告代理店 DSP SSP 最近ではMobileや Videoが伸びている Low Latency 且つ Petabyte scale のData Sets #AWSAdTechJP
- 7. デジタルマーケティング業界全体のグローバルなトレンド 1. ⾮常に細分化されてきていて、参⼊障壁が低くなっている 2. 広告主から媒体主にいたるバリューチェーンが⾮常に複雑に なっている – 数多くの仲介者 (およそ広告費全体の60%を 取得) 3. マーケット全体は⾮常に伸びている – 2015年は17兆円 ($170B)。2017年は20兆円($200B)を超えると⾔われて いる 4. Mobile, Video, RTBといった分野は顕著に伸びている RTBは2018年には1.2兆円($12B)になるという予想も http://www.slideshare.net/AmazonWebServices/digital-advertising-on-aws-popup-loft-tel-aviv/6 #AWSAdTechJP
- 10. Video ⾼い成⻑率。⾼いeCPM 不正アクセス/Ad blockingの課題 VAST(Video Ad Serving Template)4.0対応 #AWSAdTechJP
- 11. undifferentiated heavy lifting • 2006年のWeb 2.0 SummitでTim OʼReilly が Jeff Bezos と対談 • その際、ジェフは“undifferentiated heavy lifting”につい て⾔及しました http://cdn.oreillystatic.com/network/2006/12/20/web2-jeff-bezos- video06.mp4 https://www.flickr.com/photos/farber/292880154 #AWSAdTechJP
- 12. Industry Solutions • Amazon CTO の Werner Vogels もメディアの取材の際に、 『Stop spending money on “undifferentiated heavy lifting”』とコメントしています http://www.cio.co.nz/article/466635/amazon_cto_stop_spending_money_undifferentiated_heavy_lifting_/ #AWSAdTechJP
- 13. Industry Solutions • “undifferentiated heavy lifting” 『他との差別 化に繋がらない重労働』の排除をAWSのソリュー ションと共にお客さまにご提供するのが我々の ミッション #AWSAdTechJP
- 14. 例えば Real Time Bidding Differentiators 差別化 Algorithms for RTB Machine Learning Models Heavy Lifting 重労働 Scaling EC2 Instances Low Latency NoSQL Heavy Lifting 重労働 Data Access Libraries Optimizing Networking #AWSAdTechJP
- 15. RTB における費⽤曲線 • Bidderと同じ場所に配置す る必要性？ • DedicatedなNetworking チームが必要？ • ⾼価なNetwork製品を買わ なければいけない？ $0 $100,000 $200,000 $300,000 $400,000 $500,000 $600,000 1 2 5 7 10 USD Time (ms) Monthly RTB Fleet Spend vs. Roundrip Exchange Latency (ms) #AWSAdTechJP
- 16. RTBのプラットフォームにおいてHadoopのバッチ処理を1 ⽇約8時間、2,500台以上のマシンで運⽤していて、SPOT インスタンス等を活⽤して、1台あたり1⽇ $0.05 以下の コストを実現している。 オンプレミスであれば、それぞれの拠点に24時間体制の on-callスタッフの配置や余剰ストレージの確保が必要にな るが、AWSを活⽤することで、スタッフのうち 95パーセ ント が 新しいプロダクトの開発 を⾏っている。AWSは 我々を、プラットフォームのイノベーションおよびお客様 の課題解決へと向かわせてくれている。 Example: Enabling Real Time Bidding Advertiser Solutions https://aws.amazon.com/jp/solutions/case-studies/adroll-tco/ #AWSAdTechJP
- 17. Example: RTB Data Collection Over 600億 events/day ü データ集計のレイテンシは秒単位へ ü ⼀⽇約150TBのデータを保存 #AWSAdTechJP
- 18. Big Data • デジタルマーケティングビジネスにおいてはデータが全 て - 競争優位性をもたらすもの • 誰もが注⼒している分野であるが、今なお、そこにお⾦ を使い過ぎてしまいがちである • 最近のAWSのお客さまでのトレンド – Apache Spark – Druid – Analytics on Streaming Data #AWSAdTechJP
- 19. Building a Real-Time Bidding Platform on AWS https://d0.awsstatic.com/whitepapers/Building_a_Real_Time_Bidding_Platform_on_AWS _v1_Final.pdf#AWSAdTechJP
- 20. • ⽇本語の要約 http://www.slideshare.net/shinodogg/building-a-realtime-bidding-platform- on-aws-awsadtechjp Building a Real-Time Bidding Platform on AWS #AWSAdTechJP
- 21. • Analysis Traffic Ingestion and Processing – From Amazon Kinesis data is typically moved into a durable repository like Amazon S3 and processed with frameworks like Apache Spark (using Spark Streaming and Kinesis integration) • Durable Data Repository for Long-Term Storage – Amazon Elastic MapReduce (EMR) is a managed cluster compute frameworkthat can natively read directly from Amazon S3 utilizing open source tools such as Apache Spark • RTB Analytics Platform – In the machine learning space for very large data sets, a common pattern is to use the machine learning library that comes with Spark MLlib on EMR Building a Real-Time Bidding Platform on AWS #AWSAdTechJP
- 22. Amazon Web Services AZ AZ AZ Durable, highly consistent storage replicates data across three data centers (availability zones) Aggregate and archive to S3 Millions of sources producing 100s of terabytes per hour Front End Authentication Authorization Ordered stream of events supports multiple readers Real-time dashboards and alarms Machine learning algorithms or sliding window analytics Aggregate analysis in Hadoop or a data warehouse Inexpensive: $0.028 per million puts Real-Time Streaming Data Ingestion Custom- built Streaming Application s (KCL) Inexpensive: $0.014 per 1,000,000 PUT Payload Units Storage - Amazon Kinesis Streams Kinesis Stream 1 Shard < 1MB-in / 2MB-out Each record < 1 MB PutRecords() < 500 (5MB) Increased retention 7 days #AWSAdTechJP
- 23. Processing - Spark Streaming RECEIVERS Input Data Streams SPARK Job 処理結果は Destinationに Publish DStream RDD = Resilient Distributed Dataset DStream = Collection of RDDs #AWSAdTechJP
- 24. Spark Steaming – Long Running Spark App Driver Program StreamingContext SparkContext Spark jobs to process received data Worker Node Executor Long Task Receiver Worker Node Executor Task Task Task Input Stream Worker Nodeがデータ のプロセッシング Output Batch #AWSAdTechJP
- 25. Solution Example: Druid + Spark ü 今やデファクトになりつつある Apache Spark ü Druidはまだpopularではないが、アドテクのリー ディングカンパニーでは徐々に浸透中 Druid はApache Sparkと⼀緒に使うことができ る、リアルタイムなOLTP(オンライン分析処理) エンジン Youtubeにある講演動画などを⾒ると英語の場合”ドゥルード”と発⾳ #AWSAdTechJP
- 26. Druid + Spark Solution Technology • クエリパフォーマンス向上 • DruidのインデックスはRDDを 元に作られるため、Sparkは そのまま使⽤可能 • 既存BIツール等からのクエリ に関しても、SparklineDataと いうOSSツールを使うことで クエリをrewriteしてDruidに リダイレクトさせる https://www.linkedin.com/pulse/combining-druid-spark-interactive-flexible-analytics-scale-butani #AWSAdTechJP
- 27. Druid + Spark Solution Technology • Druid vs Spark – Druid と Spark は補完的な関係 – Druid は Spark の OLAP queries を加速させることができる – メモリ上のRDDは何度もアクセスするのに有⽤だが、Spark SQLは Hadoopと同様に低レイテンシなインタラクティブなクエリを想定し ていない – Druidはextremely low latency queriesにフォーカスしていて、何 千⼈ものユーザーがインタラクティブにデータを探索するようなユー スケースに主眼を置いている – 典型的な利⽤例はSparkで⼤量のデータを処理して、⾼速アクセスの ためにそのデータをDruidにロードする、というものである http://druid.io/docs/latest/comparisons/druid-vs-spark.html #AWSAdTechJP
- 28. AWS Digital Advertising Customers #AWSAdTechJP
- 29. RTB Elasticity for Traffic Volume Changes • 時間帯や季節によってもトラフィック量は異なる • いつ⼤規模なトラフィックを発⽣させるイベントが起こるか予測不可能 #AWSAdTechJP
- 30. Where is the Non Differentiated Heavy Lifting? Customer Manages All-On Prem RTB colo with Exchange S3, Networking EC2 S3, Networking EC2 S3, Networking EC2 ASG, ELB DynamoDB ASG, ELB DynamoDB Manage Administer Algo, ML #AWSAdTechJP
- 31. AWS Ad Techユーザーのトレンド • Optimization of EC2 for networking • 最新HVM AMIでsingle root I/O virtualization(SR-IOV) • HTTP Persistent Connectionsの有効化(HTTP Keep-Alive) • Developerからのフィードバック – older: C/C++, Java, Erlang – newer: Node.js, Python, Scala • Bidderはモジュール化を進めていて, dockerizedされている • トラフィックが増えてきたら特定のExchangeとの接続⽤に ELBとAutoScalingGroupを分ける #AWSAdTechJP
- 32. Reducing Costs Everywhere 何万ドルもコストを削減しています。 それは⽉のAWS請求額の20%〜30%におよびます。 Gal Aviv Research & Development Group Manager • 100台のReservedインスタンス + 800台のSpotインスタンス • パートナー: Spotinst #AWSAdTechJP
- 33. Amazon EC2 – Amazon EC2スポットコンソールがスポット フリートとスポットブロックをサポート • 再設計されたEC2 スポットリクエストコンソールを導⼊ • スポットフリートとスポットブロックをサポートし、 スポットインスタンスを使⽤する⽅法を合理化する • スポットブロックは利⽤者のジョブが完了するまでに中断されることを避 けるために、1度に1〜6時間のAmazon EC2インスタンスを要求すること が可能 • スポットフリートは必要なvCPUの数を選択、⾃動的にリクエストし、最低 価格でスポットインスタンスを起動し、希望容量を維持することで⼊札を 簡素化する #AWSAdTechJP https://aws.amazon.com/about-aws/whats-new/2016/06/new-amazon-ec2-spot-console-now- supports-spot-fleet-and-spot-blocks/
- 34. Amazon EC2 Spot fleet & Spot block https://aws.amazon.com/about-aws/whats-new/2016/06/new-amazon-ec2-spot-console-now- supports-spot-fleet-and-spot-blocks/#AWSAdTechJP
- 35. AutoScaling w/ On-demand x Spot http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-2015-amazon- ec2-auto-scaling ① ② ③ ④ #AWSAdTechJP
- 36. Solution Example: Ad Exchanges Outside AWS 36 Equinix AdIX AWS ユーザー様 Ad Exchange Provider Ad Exchange Provider Ad Exchange Provider Equinix AdIX Ad Exchange Provider Ad Exchange Provider Ad Exchange Provider バージニア ニューヨーク DXパートナー: ・Channel on NNI (<1GB) or ・Dedicated port (>1GB) Private IP Public IP Public IP DXパートナー DXパートナー インターネット経由と⽐べて25%の ネットワークレイテンシの軽減を実現し、 安定した接続を実現した事例 #AWSAdTechJP
- 37. Solution Example: Ad Exchanges Outside AWS 37 http://www.equinix.com/industries/advertising/interconnection/ #AWSAdTechJP
- 38. AWS Ad Tech in Korea • Buzzvil: Ad Network – EC2, ELB, RDS, S3 でスモールスタート – その後Auto Scaling, CloudFront, Lambda, DynamoDB, Kinesis等を活⽤ #AWSAdTechJP http://blog.buzzvil.com/2015/11/06버즈빌-aws-활용기/
- 39. AWS Ad Tech in Korea • IGAWorks: DMP – AWSマネージドサービスを活⽤しモダンな構成に #AWSAdTechJP https://aws.amazon.com/ko/solutions/case-studies/IGAWorks/
- 40. AWS Ad Tech in Korea • IGAWorks: DMP – re:Invent 2015に登壇 - (DAT202) Managed Database Options on AWS https://www.youtube.com/watch?v=-F3Y68_RfWQ #AWSAdTechJP
- 41. AWS Ad Tech in Korea https://www.youtube.com/watch?v=-F3Y68_RfWQ ⽇本のアドテク企業様からも、 このようなグローバルな場で事例を出して、 よりプレゼンスを⾼めていただければ幸いです！ • IGAWorks: DMP – re:Invent 2015に登壇 - (DAT202) Managed Database Options on AWS #AWSAdTechJP
- 42. AWS Korea Ad Tech team • お隣韓国のAdTech担当とイベント共催の計画等をしています – 韓国での登壇や事例紹介にご興味があれば是⾮お声がけく ださい！ #AWSAdTechJP
- 44. #AWSAdTechJP