Spark on sql server?
- 1. Spark on SQL Server? meetup app Osaka@3 2018/12/22 @shinsukeoda
- 2. SQL Server 2019 最近 CTP 2.2 出てます https://docs.microsoft.com/en-us/sql/sql- server/sql-server-ver15-release- notes?view=sqlallproducts-allversions
- 3. 目玉機能は何？
- 6. Big Data Clusters k8s で動かすクラスタ (SQL Server / Spark / HDFS) データの仮想化 Mongo, HDFS, Oracle とかにアクセス Data lake 一つの場所にデータを集約(Shared HDFS) スケールアウトデータマート Compute Plane / Data Plane
- 9. Big Data Clusters Spark？ Apache Spark http://spark.apache.org/ Spark ジョブ から HDFS/SQL Server の データにアクセス
- 10. Spark on SQL Server?
- 11. Spark on SQL Server?
- 12. Big Data Clusters 知りたい人は… SEの雑記 https://blog.engine er-memo.com/
- 13. Java language extension in SQL Server 2019 external_script で Java が呼べるように なった！ external_script = 外部スクリプト 2016 で R、2017 で Python 2019 で Java https://docs.microsoft.com/en- us/sql/advanced-analytics/java/extension- java?view=sqlallproducts-allversions
- 16. public static void runSqlServer() { // Spark 設定 get("/hello", (request, response) -> "<h1>Hello Spark!! on SQL Server?</h1>"); // HTTP でアクセス！ try { String res = run("http://localhost:4567/hello"); System.out.println(res); } catch (IOException e) { System.out.println(e); } } static OkHttpClient client = new OkHttpClient(); static String run(String url) throws IOException { Request request = new Request.Builder() .url(url) .build(); try (Response response = client.newCall(request).execute()) { return response.body().string(); } }
- 17. デモ
- 21. Get-NetTCPConnection と Task Manager の照合
- 22. 試した結果 localhost:4567 で ExtHost.exe が待ち 受けてるのが確認出来る。 でも外部プロセスからアクセス不可 Invoke-WebRequest –Uri http://localhost:4567/hello で蹴ると Firewall に阻まれてる感じのレスポンス の遅さ Firewalll 無効にしてもダメ。。
- 23. まとめ 惜しい感じで Spark on ～ じゃない。 今のところ SQL Server で Web アプリ は動かせるけど、アクセス出来ないから 使えない。 ちなみに 外部に HTTP アクセスは出来る ので、どっかの API 叩くとかは出来そう データの仮想化！！！！