Android Crawler Web
6 likes1,706 views
文档讨论了Android开发社区与工具，介绍了多个用于Web爬虫和JavaScript评估的工具，如jsoup、Facebook Stetho 和 Duktape。还探讨了非静态网页和Google reCAPTCHA的挑战与破解方法。社群活动信息和工具链接也被提供，以便利开发者的学习与交流。
![坑
• 非靜態網⾴頁（non static website）
• iframe
• callback value（google reCAPTCHA[iframe]）
23](https://image.slidesharecdn.com/androidcrawlerweb-170222170903/85/Android-Crawler-Web-23-320.jpg)
Android Crawler Web
- 1. Android 爬蟲與 Web 的三兩兩事 Takuma@Android Study Group Takuma不上班 Takuma不⼯工作 Takuma宅在家 Takuma沒錢了了 Takuma開始找⼯工作 1
- 2. Takuma Lee@Android Study Group vmgsahm1@gmail.com Individual App Developer@⾃自宅警備員 Today’s source code http://bit.ly/webview-javascript-sample APK展⽰示：https://play.google.com/store/apps/details?id=idv.kuma.app.komica Or Google Play 上搜尋 「Komica」 Licensed under the Charlie Tsai 2
- 3. Android Developer 開發讀書會 • 瘋狂熱愛（？） Android 的⼀一群⼈人聚集的社群 • 社群中常發⽣生寫⼀一寫 Android 就跳去寫 iOS 最後變成 iOS ⼯工程師的事件 • 設立：2013 / 09 • 社群⼈人數：7050（DevFest 時 6745） • Google Community Group • 每週三舉辦線下聚會 • 每⽉月舉辦⽉月會（主題不限） 3
- 5. 如何找到讀書會 • FB 社群：http://bit.ly/TADSG_FB • Github：https://github.com/TADSG • Meetup：https://www.meetup.com/Taiwan- Android-Developer-Study-Group/ • Telegram：http://bit.ly/TADSG_Telegram
- 7. Agenda • Tools • Tools - JavaScript • 坑 7
- 8. Agenda • Tools • Tools - JavaScript • Tools - WebDriver • 坑 8
- 9. Tools（1） • Jsoup • Facebook Stetho • PostMan • AndroidNetworking library • https://github.com/amitshekhariitbhu/Fast-Android-Networking 9
- 10. Jsoup compile group: 'org.jsoup', name: 'jsoup', version: '1.8.3' 10
- 11. • Document • Elements • Element 11
- 12. 12
- 14. 14
- 15. 15
- 16. 16
- 17. 17
- 19. Tools（2）- JavaScript • Duktape for Android • https://github.com/square/duktape-android • Js Evaluator for Android • https://github.com/evgenyneu/js-evaluator-for-android • WebView • Custom Tab • https://github.com/GoogleChrome/custom-tabs-client • Chromium 19
- 20. Tools（3）- WebDriver • https://github.com/dhamaniasad/ HeadlessBrowsers • HtmlUnit-Driver • Selendroid • Selenium 20
- 21. 坑 • 非靜態網⾴頁（non static website） 21
- 22. 坑 • 非靜態網⾴頁（non static website） • iframe 22
- 23. 坑 • 非靜態網⾴頁（non static website） • iframe • callback value（google reCAPTCHA[iframe]） 23
- 24. 24
- 27. reCaptcha • iframe • callback value 27
- 28. • https://blog.kaspersky.com.cn/googles-recaptcha-defeated-by- security-researchers/4144/ • 此篇⽂文章中說道破解 Google reCaptcha 需要 19 秒的時間 • 繞過驗證碼成功率超過 70% 28
- 29. Tools（2）- JavaScript • Duktape for Android • https://github.com/square/duktape-android • Js Evaluator for Android • https://github.com/evgenyneu/js-evaluator-for-android • WebView • Custom Tab • https://github.com/GoogleChrome/custom-tabs-client • Chromium 29
- 30. Tools（2）- JavaScript • Duktape for Android（⽬目前未成功讀取整個網⾴頁資料） • https://github.com/square/duktape-android • Js Evaluator for Android • https://github.com/evgenyneu/js-evaluator-for-android • WebView • Custom Tab • https://github.com/GoogleChrome/custom-tabs-client • Chromium 30
- 31. Tools（2）- JavaScript • Duktape for Android • https://github.com/square/duktape-android • Js Evaluator for Android（Android YoutubeExtractor） • https://github.com/HaarigerHarald/android-youtubeExtractor • https://github.com/evgenyneu/js-evaluator-for-android • WebView • Custom Tab • https://github.com/GoogleChrome/custom-tabs-client • Chromium 31
- 32. Tools（2）- JavaScript • Duktape for Android • https://github.com/square/duktape-android • Js Evaluator for Android • https://github.com/evgenyneu/js-evaluator-for-android • WebView（⽬目前使⽤用中） • https://github.com/TakumaMochizuki/Komica/blob/develop/app/src/main/java/idv/kuma/app/komica/fragments/ SectionDetailsFragment.java • http://bit.ly/webview-javascript-sample • Custom Tab • https://github.com/GoogleChrome/custom-tabs-client • Chromium 32
- 33. Tools（2）- JavaScript • Duktape for Android • https://github.com/square/duktape-android • Js Evaluator for Android • https://github.com/evgenyneu/js-evaluator-for-android • WebView • Custom Tab（待研究， Google 曾表⽰示速度比 WebView 快上許多） • https://github.com/GoogleChrome/custom-tabs-client • Chromium（最後研究 == 不研究） 33
- 34. 34