プロ生ちゃんをひろっちゃう！
0 likes8,770 views
プロ生ちゃんをひろっちゃう！ プログラミング生放送勉強会 第30回＠名古屋ソフトウェアセンター http://www.kekyo.net/2014/11/08/%e3%83%97%e3%83%ad%e7%94%9f%e3%81%a1%e3%82%83%e3%82%93%e3%82%92%e3%81%b2%e3%82%8d%e3%81%a3%e3%81%a1%e3%82%83%e3%81%86%ef%bc%81-%e3%83%97%e3%83%ad%e3%82%b0%e3%83%a9%e3%83%9f%e3%83%b3%e3%82%b0/
プロ生ちゃんをひろっちゃう！
- 3. プロ生ちゃんをひろっちゃう！ プログラミング生放送勉強会第30回2014/11 名古屋ソフトウェアセンターKouji Matsui @kekyo2
- 4. 自己紹介 Kouji Matsui （けきょ） 自転車乗りです アーキとかスクラムマスターとか。MS界隈で生息してます。 Center CLRというコミュニティやってます。まだ立ち上げたばかりです。
- 6. まずは調べてみよう プロ生ちゃんの壁紙は、以下のURLにありますね！ http://pronama.azurewebsites.net/pronama/wallpaper/ このページのHTMLをダウンロードして、中身を解析 したら、自動でダウンロード出来るかも？ 壁紙はいくつか種類があるよ。ランドスケープ（横置 き）の画像だけ取りたいな。 Internet Explorerで開いて、F12キーを押してみよ う！開発者ツールが使えるよ。
- 7. 開発者ツールでHTMLを解析！ ①このボタンをクリックして… ②画像をクリック 画像に対応するHTMLの定義が どこにあるかすぐ分かる
- 8. HTMLの構造を再確認 画像はここのdivタグに並んでる id属性があるね html→body→div(container)→ div(row)→div(hl_links)→div→ a(liimagelink)→img
- 9. 目的のタグまでの階層構造 id属性があると、見分けが付きやすい（100%信用は出来ないので注意）。 プロ生ちゃんサイトは「hl_links」というidで、ランドスケープの画像をまとめているみたい。 あとは、class属性とタグで区別していくとベター。 imgタグはサムネイルなので、欲しいのはその直前のaタグのhrefが示すURL。 html→body→div(container)→div(row)→div(hl_links)→div→a(liimagelink)→img 準備できたよっ！
- 11. SgmlReaderを使ってHTMLをXMLに変換！ SgmlReaderを使うと、HTMLを解析してXMLリーダーのようにふるまわせることが出来るよ！ するとすると、XDocumentに変換出来ちゃう。 XMLになってしまえば、中身を調べる方法は沢山ある！
- 13. aタグのURLから画像をダウンロードするよ！ 画像のダウンロードもHttpClientで！ インメモリで画像をデコードして、ImageSourceに変換するよ！ ワーカースレッドで動かしているから、 非同期メソッドを同期的に待機してるよ
- 15. デモ
- 16. 高速化！ 非同期なんだから、並列でダウンロードさせたいよね！ Task.WhenAllを使って、全ての Taskを同時に待つよ （地味にLINQ使ってるよ） 処理全体を非同期で！ URL URL URL URL 非同期Task 非同期Task 非同期Task 非同期Task Task.WhenAll
- 17. デモ
- 18. まとめ ウェブサイトからHTMLをダウンロードしてきて、中身を解析する事を「スク レイピング」といいます。 .NETの世界では、「SgmlReader」クラスを使ってXDocumentに変換すると、 簡単にHTMLを解析できちゃうよ。 XDocumentの解析は、LINQでサクサクと！ HTMLや画像のダウンロードは、「HttpClient」クラスを使うよ。 便利なライブラリは、「NuGet」で簡単インストール！ ワーカースレッドなし！非同期でダウンロードサクサク！！
- 19. プロ生ちゃんマジ天使！！ ご清聴ありがとうございました！ サンプルコードはGitHubに上げてあります。 https://github.com/kekyo/Pronama.ScrapingViewer.git スライドはブログに掲載します。 http://www.kekyo.net/