じっくりコトコト煮込んだJavaスープ
- 8. • OSSのHTMLパーサー • jQueryのセレクタっぽく html要素を取得できる • HTTPクライアントとしても使え る子 そこでｊsoupですよ http://jsoup.org/
- 9. 使い方 (setupはpomに書いてドーン） Document doc = Jsoup.connect("http://en.wikipedia.org/").get(); Elements newsHeadlines = doc.select("#mp-itn b a"); String html = newsHeadlines.html(); System.out.println(html);
- 10. 実行すると <a href="/wiki/Thor%27s_hero_shrew" title="Thor's hero shrew">Thor's hero shrew</a> <a href="/wiki/Santiago_de_Compostela_derailment" title="Santiago de Compostela derailment">A train crash</a> <a href="/wiki/Prince_George_of_Cambridge" title="Prince George of Cambridge">Prince George of Cambridge</a> <a href="/wiki/2013_Dingxi_earthquakes" title="2013 Dingxi earthquakes">series of earthquakes</a> <a href="/wiki/2013_Colombian_clashes" title="2013 Colombian clashes">Clashes</a> <a href="/wiki/Philippe_of_Belgium" title="Philippe of Belgium">Philippe</a> <a href="/wiki/2013_Open_Championship" title="2013 Open Championship">Open Championship</a> <a href="/wiki/Deaths_in_2013" title="Deaths in 2013">Recent deaths</a> <a href="/wiki/Portal:Current_events" title="Portal:Current events">More current events...</a>
- 12. このサンプルでパースする対象の html(抜粋) <div id="mp-itn"> <div style="float:right;margin-left:0.5em;"><a href="/wiki/File:Tragedia_en_Santiago_de_Compostela_(a).jpg" title="Santiago de Compostela derailment"><img alt="Santiago de Compostela derailment" src="//upload.wikimedia.org/wikipedia/commons/thumb/5/5a/Tragedia_en_Santiago_de_Compostela_%28a%29. jpg/100px-Tragedia_en_Santiago_de_Compostela_%28a%29.jpg" width="100" height="67" srcset="//upload.wikimedia.org/wikipedia/commons/thumb/5/5a/Tragedia_en_Santiago_de_Compostela_%28a% 29.jpg/150px-Tragedia_en_Santiago_de_Compostela_%28a%29.jpg 1.5x, //upload.wikimedia.org/wikipedia/commons/thumb/5/5a/Tragedia_en_Santiago_de_Compostela_%28a%29.jpg/ 200px-Tragedia_en_Santiago_de_Compostela_%28a%29.jpg 2x" /></a></div><ul><li style="-moz-float-edge: content-box"> <b> <a href="/wiki/Thor%27s_hero_shrew" title="Thor's hero shrew">Thor's hero shrew</a> </b> ….. </div>
- 13. さらに<a>タグの文字列だけ欲しい Document doc = Jsoup.connect("http://en.wikipedia.org/").get(); Elements newsHeadlines = doc.select("#mp-itn b a"); for (Element element : newsHeadlines) { System.out.println(element.html()); } Thor's hero shrew A train crash Prince George of Cambridge series of earthquakes Clashes Philippe Open Championship Recent deaths More current events...
- 14. こいつは便利 • URLをそのまま指定できる • テキストファイルのHTML読み込んでパースすることも出来 る • HttpUrlConnection • jQuery知ってればそのまま使える • jQueryのセレクタの基本機能は大体使える ※正規表現でセレクタ指定とかは出来ない模様 • child ,parentも取れる • id,class,Style要素とかも取れる • 昔ながらの getElementById,getElementByClass,getElementByTagsも使 える
- 15. Httpクライアントとしても優秀 • Jsoup内で実装されているHttpConnectionクラスが何気に 便利(っていうかJava標準ライブラリにまともなのが無い） doc = Jsoup .connect("http://en.wikipedia.org/") .userAgent( "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.72 Safari/537.36 “ ) .referrer("http://en.wikipedia.org/wiki/Main_Page") .cookie(“loggedin", “true") .timeout(3000) .post(); userAgentがないと蹴ら れるサイトも多い
- 16. get,postでデータ送信もできる hashMap.put("homhom", "foo"); hashMap.put("oauth_id", "123456"); hashMap.put("oatuh_token", "kankore"); doc = Jsoup .connect("http://en.wikipedia.org/") .data(hashMap) .timeout(3000) .post();
- 17. まとめ • jQuery知ってると凄く捗るライブラリ • Httpクライアントとしても便利 • ってかjava.net.HttpURLConnection頑張れよ