Fun tech13-alibaba cloud serverless kubernetes
- 1. ALIBABA CLOUD SERVERLESS KUBERNETES でクローラーを作ろう WITH KANIKO @oqmuuu fun-tech meetup #13 2019/09/27
- 2. WHO AM I • 名前： Kumiko Anzai (@oqmuuu) • 所属： (株)オープンストリーム • 仕事：Cloud Solution Architect見習い • Alibabaブログ：グループ会社で書いてます • アリ蔵 -> https://alikura.com/ • コミュニティ • Cloud Native • Kubernetes Meetup • Serverless Meetup • AliEaters • Fun-tech meetup 2
- 3. 今日の目的 1. Alibaba Cloudのいいところ、もう少しなところを知っ てもらう 2. Alibaba Cloudのコンテナサービスを知ってもらう 3. Alibaba Cloudのサーバーレス環境構築パターン （その１：サーバーレスKubernetes）を知ってもらう 3
- 4. AGENDA 1. 自己紹介 2. 今日話すこと 3. 宣伝 4. クローラー全体像 5. Infra 6. DevOps 7. App 8. まとめ 4
- 5. ALIBABA CLOUDの特徴 1/3 o 中国のタオバオなどを経営するアリババグループが運営 o 2011年にサービス開始 o 中国で売上第１位(2018年上期) o 中国国内に1300のCDNノード o IaaS世界第３位のシェア(2017年) o アジアを中心に19リージョン展開 o 56アベイラビリティゾーン保持 o 中国展開への強み o 中国内にECサイトを作るとき、中国国内のコンテンツを使用したいとき に他のベンダーより圧倒的に有利 5
- 6. ALIBABA CLOUDの特徴 2/3 o 巨大な中国ECモールを支えるインフラ・ミドルウェアを開発 o 2017年11月11日独身の日売上は2兆 o 技術で世界をより良くしたいがモットー o セキュリティサービスが充実 o 3種類のアカウントごとに徐々にサービスを展開 o 中国アカウント＞国際アカウント＞日本アカウント o ドキュメントが中国語 o 英語ももちろんあるが、英日含め執筆中 o DepOps系のサービスが乏しいので自前構築（マルチクラウド？） が必要 o どのクラウドベンダーにも強み・弱みがある o 比較表 -> http://comparecloud.in/ 6
- 8. AGENDA 1. 自己紹介 2. 今日話すこと 3. 宣伝 4. クローラー全体像 5. Infra 6. DevOps 7. App 8. まとめ 8
- 10. AGENDA 1. 自己紹介 2. 今日話すこと 3. 宣伝 4. クローラー全体像 5. Infra 6. DevOps 7. App 8. まとめ 10
- 11. CONTAINER SERVICE FOR KUBERNETES o Kubernetesとは o ミドルウェアや冗長化構成を設定ファイルで構築できる実行環境 o Dockerを大規模なアプリ用に発展させたもの o Alibaba Cloudでは3種類のKubernetesクラスターを用意 o 専用クラスター o マスターノード+ワーカノードの管理 o マネージドクラスター o ワーカノードの管理 o サーバーレスクラスター o ノード管理不要 o 料金はPodと呼ばれる実行環境の起動時間、CPU、メモリに課金される o クラスターを立ててすぐ使用できるミドルウェアのデプロイ機能あり11
- 12. ELASTIC CONTAINER INSTANCE 12 ACK Kubernetes Virtual Kubelet Pod ECI Pod oDockerやKubernetesコンテナ専用の実行環境 oKubernetesのサーバーレスクラスターのノードとしても動作する oVirtual Kubeletが独立しているECIとKubernetesをつないでいる oAWS Fargateと同じようなもの oお手軽度No.1 oミドルウェアを管理しやすい
- 13. AGENDA 1. 自己紹介 2. 今日話すこと 3. 宣伝 4. クローラー全体像 5. Infra 6. DevOps 7. App 8. まとめ 13
- 14. KANIKO o Kuberntes上でコンテナイメージビルド、プッシュができるOSS o Googleが開発しており、GCP Cloud Buildに組み込まれている o 後述の指定したコンテナレジストリにイメージをプッシュする o Jenkins等のCI/CDツールを使うまでもない規模が妥当 o ビルド後はビルドしたコンテナイメージ上でプッシュ処理を実行 o キャッシュを使った高速なビルドを実現 14Dockerコンテナイメージとコンテナ実行のフロー
- 15. CONTAINER REGISTRY o フルマネージドなコンテナレジストリ o Docker Registry互換 o ソースコードにGithub、GitLabなどが使用できる o ビルド後に脆弱性チェックができる o Ubuntu,RedHat,CentOS,Oracle,Debian,Alpineの一部バージョン o ビルド後のWebhook機能あり 15脆弱性チェック結果
- 16. AGENDA 1. 自己紹介 2. 今日話すこと 3. ちょっと宣伝 4. クローラー全体像 5. Infra 6. DevOps 7. App 8. まとめ 16
- 17. MEMORIOUS o Pythonのクローラーライブラリ o https://github.com/alephdata/memorious o クローリング、スクレイピング処理のパイプラインを定義でき る o どのホストをクローリングするか(しないか)、どのファイルを収 集するかなどの設定を全てYAMLで宣言的に記載する o 同時実行数や収集したコンテンツの保存先なども設定できる o 収集するコンテンツをハッシュ値で管理 o 同一名のコンテンツでも中身が異なると収集してくる o Dockerfileで配布されており、ハッシュ値管理のためのRedisや管 理画面を内臓 17
- 18. MEMORIOUSの実例 18 # Example scraper to demonstrate Memorious XPath narrowing name: poc description: Books to scraper pipeline: init: # Start URL method: seed params: urls: - http://books.toscrape.com/ handle: pass: fetch fetch: # Download the page passed from the seed stage. method: fetch handle: pass: parse params # These rules specify which pages should be scraped or included: rules: and: - domain: books.toscrape.com parse: # Crawl the HTML of the page passed in to extract specific things. method: parse params: store: mime_group: images handle: # If the 'fetch' rule is invoked, re-trigger the fetch stage fetch: fetch # Otherwise, pass data on to the store stage store: store store: # Store the crawled documents to a directory method: directory params: path: /data/results: YAML例 管理画面例
- 19. AGENDA 1. 自己紹介 2. 今日話すこと 3. ちょっと宣伝 4. クローラー全体像 5. Infra 6. DevOps 7. App 8. まとめ 19
- 20. まとめ o Alibaba CloudはECサイトの中国展開が強み o Alibaba CloudはIaaSに少し機能をつけたサービスや、 PaaSが豊富 o サーバーレスにしたいが、大規模インフラ構成にな りうる、ミドルウェアや実装量が多い（拡張性があ る）アプリはコンテナ管理すると楽 o CI/CD周りは上手に他のPaaSを頼っていくとよい 20
- 21. ご静聴ありがとうございました