ヤフーのロギングSDKの挑戦〜データドリブン企業を目指して〜 #yjdsnight
Download as PPTX, PDF6 likes1,915 views
ヤフーのロギングSDKの挑戦〜データドリブン企業を目指して〜
![Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
iOS: カテゴリで値を保持する
26
@dynamicプロパティのアクセサでget/setする
@dynamic isTarget;
- (BOOL)isTarget {
NSNumber *boolNumber = objc_getAssociatedObject(self, @selector(isTarget));
return [boolNumber boolValue];
}
- (void)setIsTarget:(BOOL)isTarget {
objc_setAssociatedObject(self, @selector(isTarget),
[NSNumber numberWithBool:isTarget], OBJC_ASSOCIATION_RETAIN);
}
id objc_getAssociatedObject(id object, const void *key);
void objc_setAssociatedObject(id object, const void *key, id value, policy);
#import <objc/runtime.h>
AssociatedObjectの利用](https://image.slidesharecdn.com/loggingsdkinyj20170719-170802053437/85/SDK-yjdsnight-26-320.jpg)
![Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
2. 座標の変換
41
window&screen
Button 1
Button 2
root view
scroll view
YES YES YES
CGRect rectInWindow =
[subview convertRect:subview.bounds toView:nil];
対象viewの座標をWindow座標系に変換](https://image.slidesharecdn.com/loggingsdkinyj20170719-170802053437/85/SDK-yjdsnight-41-320.jpg)
ヤフーのロギングSDKの挑戦〜データドリブン企業を目指して〜 #yjdsnight
- 1. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 2017年7月19日 1 松本 誠義 ヤフーのロギングSDKの挑戦 〜データドリブン企業を目指して〜
- 2. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. データ＆サイエンスソリューション統括本部 データプラットフォーム本部 開発４部 データセンサー１ 入社：2016年 新卒 担当：iOS 趣味：海釣り 松本 誠義 自己紹介 2
- 3. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. アジェンダ 背景：ロギングSDKのこれまで 課題：ロギングSDKの課題 展望：自動ロギングの実現に向けて 3 テーマ「データ収集」
- 4. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 背景 ロギングSDKのこれまで
- 5. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. トップメッセージより ヤフーは世界でもユニークな マルチビッグデータカンパニーです トップメッセージ https://about.yahoo.co.jp/info/message/
- 6. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. ユーザー規模 6 9,000万1日 ユニーク ブラウザ ※出所：Yahoo! JAPAN社内データ（2016年4月-6月の平均）
- 7. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 提供サービス 7 Media US Search Video Answer Mail JP US JP Membership C2C Payment C2C EC B2C EC Local
- 8. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 様々なデータセット 8 検索 EC 金融 メッセージングサービス 地図、カーナビ 興味のある言葉 買ったもの ユーザーの資産 自然言語 位置情報
- 9. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. データ利活用のサイクルを回したい 9 サービスや 機能を提供 データがたまる データから 気づきを得る インサイト ユーザー データ
- 10. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. ロギングSDK Key-ValueのシンプルI/F • ヘルスチェック • サービス改善 ほぼ全てのサービスに導入完了 iOS, Android, Webに対応
- 11. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 全社のデータ利活用 各サービス毎にデータを利活用できている 11 でも、まだまだ課題が…。
- 12. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 課題 ロギングSDKの課題
- 13. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. データ利活用のボトルネック SDKの課題 • サービスの実装が大変 • 集めたデータの整合性がとれない 13
- 14. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 14 サービスの実装が大変 SDKで提供している機能 その結果。。。 送りたいログは大量 セッション管理 Key-Valueのログ送信I/F ロギングのための実装が多い ラッパーライブラリが必須 SDK Wrapper • インスタンス管理 • ログ送信の最適化
- 15. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 集めたデータの整合性がとれない 15 Button1 Button1, 2 画面外含む ログ取得のタイミング 画面に入った時 例. 要素の表示 Button 1 Button 2 Button 1 サービスごとにログの意味合いが異なる サービスA サービスB
- 16. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 原因 • サービス側の実装が大変 • 集めたデータの整合性がとれない 16 ログ取得のI/Fだけを提供 共通のパラメータは自動化すべき
- 17. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 展望 自動ロギングの実現に向けて
- 18. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 自動化の対象 18 サービス独自のイベントロギング サービス共通のロギング項目 • 要素の表示 • 要素に対するClick
- 19. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 19 自動ロギングとロギング実装の工数 Before: After: サービスのロギングに割く工数が激減！ 画面の表示 パラメータの指定 送信処理 要素の追加 パラメータの指定 送信処理 Clickイベント パラメータの指定 送信処理 パラメータの指定要素生成時
- 20. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 自動ロギングとデータの整合性 20 データの整合性が取れるようになる Button 1 Button 2 Button 1 サービスA サービスB SDK SDK Button1 Button1 自動ロギング 自動ロギング
- 21. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. データ利活用のボトルネック解消へ 21 SDKの課題 • 実装が大変 • 集めたデータの整合性がとれない 自動ロギング導入 • サービスのロギングに割く工数が激減 • データの整合性が取れるようになる
- 22. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 要素の表示とClickの自動化処理 どのように実現したか
- 23. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 自動化後のサービス側のロギング実装 23 Button 1 Button 2 Button 1 Button 2 対象: YES 対象: YES 対象: YES ロギング対象の指定 要素が画面に表示された 要素が非表示になった ButtonがClickされた ロギング対象指定のI/F ロギング対象の監視・判定処理 自動ロギング
- 24. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. どのように実現したか(1/2) ロギング対象指定のI/F
- 25. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. ロギング対象指定のI/F 25 image1.isTarget = YES; button1.isTarget = YES; 目指す形：ロギング対象の各要素にフラグをセット 要素のsuperクラスを拡張してプロパティを追加する UIView UIButton UIImage UIView+Sample.h/m @property (nonatomic) BOOL isTarget;
- 26. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. iOS: カテゴリで値を保持する 26 @dynamicプロパティのアクセサでget/setする @dynamic isTarget; - (BOOL)isTarget { NSNumber *boolNumber = objc_getAssociatedObject(self, @selector(isTarget)); return [boolNumber boolValue]; } - (void)setIsTarget:(BOOL)isTarget { objc_setAssociatedObject(self, @selector(isTarget), [NSNumber numberWithBool:isTarget], OBJC_ASSOCIATION_RETAIN); } id objc_getAssociatedObject(id object, const void *key); void objc_setAssociatedObject(id object, const void *key, id value, policy); #import <objc/runtime.h> AssociatedObjectの利用
- 27. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. ロギング対象を指定できるようになった 27 Button 1 Button 2 対象: YES 対象: YES 対象: YES id: img1 id: btn1 id: btn2 同様に任意のパラメータの設定も可能
- 28. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. どのように実現したか(2/2) ロギング対象の監視・判定処理
- 29. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. ロギング対象の監視・判定 29 Button 1 Button 2 可視 可視 不可視 Button 1 Button 2 不可視 可視 可視 View-out View-in スクロール 判定結果 監視
- 30. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. ロギング対象の監視 ↓ ロギング実施の判定処理
- 31. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 監視に利用できそうな技術 ポーリング 一定時間ごとに処理を実行 イベントのフック イベント発生ごとに処理を実行 31
- 32. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. アプリの状態遷移に関わるイベント 32 イベント iOSの場合 画面の描画が完了 viewDidAppear 現在の画面が非表示になった viewDidDisappear スクロールされた scrollViewDidScroll アクションの送信（click等） sendAction
- 33. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. なぜフックするのか 33 イベント実装メソッド サービス側の実装 画面の遷移など ロギング処理 サービス側で ロギング実装の必要あり
- 34. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. イベントハンドラのフック 34 ロギング処理 サービス側の実装 画面の遷移など イベント実装メソッド ロギング処理を 差し込みたい
- 35. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Method Swizzling(iOS) 35 ロギング処理 scrollViewDidScroll scrollWithLogging scrollWithLogging サービスの実装 メソッドの処理を入れ替える仕組み
- 36. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Method Swizzling(iOS) 36 scrollViewDidScroll scrollWithLogging ロギング処理 scrollWithLogging サービスの実装 IMP class_replaceMethod( Class cls, SEL name, IMP imp, const char *types ); 元scrollWithLogging 元scrollViewDidScroll
- 37. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 状態変化の監視 37 可視状態を要素に保持し、判定の度に比較 Button 1 Button 2 Button 1 Button 2 Button 1 Button 1 Button 2 View-in View-out 例：スクロールの監視時
- 38. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. ロギング対象の監視 ↓ ロギング実施の判定処理
- 39. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 可視状態の判定 1. ロギング対象の探索 2. 座標の変換 3. 領域の判定 39 Button 1 Button 2
- 40. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. window&screen 1. ロギング対象の探索 40 Button 1 Button 2 YES YES YES root view scroll view for (UIView *subView in rootView.subviews) { if (subView.isTarget) { ... rootview起点にsubviewを走査 ※前提：windowとscreenが同サイズ
- 41. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 2. 座標の変換 41 window&screen Button 1 Button 2 root view scroll view YES YES YES CGRect rectInWindow = [subview convertRect:subview.bounds toView:nil]; 対象viewの座標をWindow座標系に変換
- 42. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 3. 領域の判定 42 window&screen Button 1 Button 2 root view scroll view YES YES YES 可視 可視 不可視 CGRectIntersectsRect(window.bounds, rectInWindow) 対象viewの座標がwindow内に含まれるか判定
- 43. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 実装完了 43 ロギング対象指定のI/F ロギング対象の監視・判定処理 自動ロギング実現に必要な実装
- 44. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. Button 1 Button 2 組込みテストの結果 44 Button 1 Button 2 Button 1 Button 2 View-out View-inButton 1 Button 2 この間、サービス側の実装はゼロ
- 45. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 組込みテストの結果 45 Button 1 Button 2 View-out Click Button 1 Button 2 Text 1 この間、サービス側の実装はゼロ View-out View-in View-in
- 46. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. まとめ
- 47. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. まとめ データドリブン実現に向けたSDKの課題 • 実装が大変 • データの整合性がとれない 自動ロギングでボトルネックの解消
- 48. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. まだtrial&error。 挑戦は続きます。
Editor's Notes
- #4: 本日のテーマ、データ収集 私の所属しているチームで提供しているロギングSDKのこれまでと課題、これからについてお話をさせて頂きたいと思います。
- #8: サービスが多い、かつ競合にも勝っているという説明 また、ヤフージャパンは100を超えるサービスを展開しております。 ニュースや動画、ショッピングなど様々な分野で多くのユーザの皆様にご利用いただいております。
- #9: データ利活用の視点に立ちますと、様々なサービスを提供しているということは、それだけ幅広いデータ・セットを持つことができうるということになります。例えば、ショッピングのレコメンドをする場合でも、ショッピングのサービス内で得られるデータだけでなく、日常の検索ワードや、位置情報などを利用することができます。特に、初めて訪れたお客様でも、他のサービスのデータがあれば、レコメンドしていけるようなことも可能です。
- #10: 私たちはこれからユーザの皆様により高い価値を提供しつづけていくために、データをもっと集め、活用し、サービスの改善を行うサイクルを回していきたいと考えております。
- #15: サービス側の実装が大変 ログを落とすというI/Fだけを提供していたが、落としたいログは大量にあった パラメータを引き回すのが大変だった -> 各アプリでラッパーが作られていた ロガーに変更があるとラッパーへの反映が必要になる サービス側のスピード感が損なわれてしまう
- #16: ログを落とすタイミングがサービスにより異なる（許可しているため） うちでは、各Viewの表示・クリックを取っている ニュースの記事やショッピングの商品などが実際に表示されたことを取りたい。 でも、Viewのタイミングがサービスによりバラバラになっていました。 これだと、横断的に表示とクリックのログを使うことは難しいでしょう。
- #24: 自動化のためにSDKが知らなければならないこと ・いつロギングするのか ・なにをロギングするのか ・どうロギングするのか
- #26: あるオブジェクトに任意のkey, valueを関連付けることができる
- #27: Viewにインスタンス変数を追加 Viewクラスを拡張（カテゴリ）し、インスタンス変数を追加 ストーリーボードからも付けられる。 @dynamic sampleItemId;- (NSString *)sampleItemId { return objc_getAssociatedObject(self, @selector(sampleItemId));}- (void)setUserActionLoggerItemId:(BOOL)itemId { objc_setAssociatedObject(self, @selector(sampleItemId), [NSNumber numberWithBool:itemId], OBJC_ASSOCIATION_RETAIN_NONATOMIC);}
- #30: subViewを走査し、パラメータを持つロギング対象のview一覧を取得します。 それらの座標をWindow座標に変換し、領域内にあることを判定します。
- #34: イベントにロギング処理を直接実装できれば サービス側にロギング処理を叩いてもらう必要あり フックして、サービスの処理の裏にロギング処理を追加
- #35: イベントにロギング処理を直接実装できれば サービス側にロギング処理を叩いてもらう必要あり フックして、サービスの処理の裏にロギング処理を追加
- #36: 工夫すれば、logger.startだけで沢山の情報を自動取得できます。
- #37: 工夫すれば、logger.startだけで沢山の情報を自動取得できます。
- #38: subViewを走査し、パラメータを持つロギング対象のview一覧を取得します。 それらの座標をWindow座標に変換し、領域内にあることを判定します。
- #41: subViewを走査し、パラメータを持つロギング対象のview一覧を取得します。 それらの座標をWindow座標に変換し、領域内にあることを判定します。
- #42: subViewを走査し、パラメータを持つロギング対象のview一覧を取得します。 それらの座標をWindow座標に変換し、領域内にあることを判定します。
- #43: subViewを走査し、パラメータを持つロギング対象のview一覧を取得します。 それらの座標をWindow座標に変換し、領域内にあることを判定します。
- #45: subViewを走査し、パラメータを持つロギング対象のview一覧を取得します。 それらの座標をWindow座標に変換し、領域内にあることを判定します。
- #46: subViewを走査し、パラメータを持つロギング対象のview一覧を取得します。 それらの座標をWindow座標に変換し、領域内にあることを判定します。
- #48: アプリのViewImpsは簡単に取れるので、是非取りましょう