Java8移行から始めた技術的負債との戦い(jjug ccc 2015 fall)
- 1. Java8移行から始めた 技術的負債との戦い JJUG CCC 2015 Fall 2015.11.28 清 大輔 @ 株式会社ビズリーチ
- 2. 発表者 清 大輔 株式会社ビズリーチ 新卒２年目 エンジニア 博士課程中退な人 • カオス・フラクタル • 脳波解析 • やっぱりプログラム書いてたほうが楽しいのでエン ジニアへ 趣味や研究でプログラム書いてました • 基本 C++ とか 2
- 4. BizReach ビジネスパーソン、国内外の優良・成長企業、各業界 に精通した一流ヘッドハンターの三者を最適かつ効率 的にマッチングする管理職・グローバル人材に特化し た会員制転職サイト 4
- 11. 11 前置きはここまでにして
- 12. 移行対象: BizReach システムの基盤を作った人達が他の新規事業に 行ったりしてしまってチームにいない pom などのメンテをする人が特に決まっていな いような状況 • フレームワーク等のバージョンのアップデートが遅 れていた • 技術的負債が溜まっていた 12
- 13. ビズリーチシステム（Java8移行前） 使用している技術 • 言語: Java6 • MVC: Struts2 • DI: Spring3 • View: JSP, Velocity … JSP → Velocityへ（混在中） • ORM: DBFlute 1.0.x • 他: DWR, AWS, etc 開発環境: Eclipse 3.7 Indigo 13
- 14. 移行のきっかけ Java8 → Stream, ラムダ式, Optional使いたい！！ 14 List<String> codes = new ArrayList<>(); for (Bean bean : list) { codes.add(bean.getCode()); } List<String> codes = list.stream().map(bean-> { return bean.getCode(); }).collect(Collectors.toList()); for Java7 for Java8
- 15. 移行のきっかけ Java8 → 使っているライブラリーもJava8の方が書きやすい！！ 15 MemberCB cb = new MemberCB(); cb.query().setMemberId(1L); Member member = candidateBhv.selectEntity(cb); String memberStatusCd = member == null ? “” : member.getMemberStatusCd(); String memberStatusCd = candidateBhv.selectEntity(cb -> { cb.query().setMemberId(1L); }).map(Member::getMemberStatusCd).orElse(“”); DBFlute for Java7 for Java8
- 16. 移行のきっかけ 16 Eclipse Luna (Release Candidate) • Eclipse Kepler でもプラグインで対応できたがそちら は微妙に不安定 • Luna だとかなりましになった → そろそろJava8で書けそう？
- 17. 移行のきっかけ 17 Eclipse Luna (Release Candidate) • Eclipse Kepler でもプラグインで対応できたがそちら は微妙に不安定 • Luna だとかなりましになった → そろそろJava8で書けそう？ というのもありましたが
- 18. 移行のきっかけ 18 A「Java7 のサポート切れるよね〜」 B「そうですね〜」 A「Java8 に上げないの？」 B「（あれ？そもそもうちまだ Java6 じゃん） 上げます！！」
- 23. 事件1. そもそも起動しない 背景 起動には Eclipse の Run Jetty Run (RJR) プラグイ ンを利用していた RJR プラグインは2013年に開発ストップ 最新でJetty 8で起動 23
- 24. 事件1. そもそも起動しない 原因 実は Jetty9.2.x で Java8 に対応している = それ以前のバージョンだと未対応 24
- 25. 事件1. そもそも起動しない 原因 実は Jetty9.2.x で Java8 に対応している = それ以前のバージョンだと未対応 問題 RJR プラグインには Jetty 8 までしかない 25
- 28. 事件1. そもそも起動しない 教訓 開発の止まっているものは使わない • 止まっているのは理由があることが多い Eclipseプラグインに頼りすぎない • Eclipseプラグインを作るのは案外辛い 組み込みAPサーバー化すべき • プラグインからの脱却 • 開発/本番一致（The Twelve-Factor App） 28
- 31. 事件2. 検証環境だとラムダで死ぬ 事象 検証環境でデプロイが失敗した！？ → アプリが立ち上がってない… 31
- 32. 事件2. 検証環境だとラムダで死ぬ 背景 本番にリリースする前に検証用の環境にデプロ イして動作確認を行っている ローカルだと Jetty を利用しているが検証及び 本番の環境では Tomcat 8 を利用していた 32
- 33. 事件2. 検証環境だとラムダで死ぬ 原因 古い ASM（3.x）ライブラリが足を引っ張って いるようだ • Java8 対応は ASM 5.x • バイトコード周り？（自分は詳しくない） • Spring のバージョンを 3.2.9以上にあげるしかない • 公式ブログのアナウンスより 33
- 34. 事件2. 検証環境だとラムダで死ぬ 対応 Spring のバージョンを 3.2系にあげる • Spring 4 は諸事情により見送り • 一気にいろいろやるのは怖い 34
- 35. 事件2. 検証環境だとラムダで死ぬ 対応 Spring のバージョンを 3.2系にあげる • Spring 4 は諸事情により見送り • 一気にいろいろやるのは怖い 35 検証でもでラムダが 動いた！！
- 39. 事件3. Actionでラムダ書くと死ぬ 事象 Actionでラムダ書いたら、そのActionにリクエ スト投げるとエラーで落ちる 39 @Namespace("/") public class IndexAction { @Action(value = "", results = { @Result(name = SUCCESS, location = “home.vm“)}) public String index() { return SUCCESS; } } ← 例えばここらへんに追加
- 40. 事件3. Actionでラムダ書くと死ぬ 事象 Actionでラムダ書いたら、そのActionにリクエ スト投げるとエラーで落ちる Actionのクラスに書かなければ落ちない ↑ これのせいでちょっと発見が遅れた 40
- 41. 事件3. Actionでラムダ書くと死ぬ 原因 struts2-java8-support-plugin が必須 • 2015/05/03に出た • Java8 化リリース予定の1週間前 41
- 42. 事件3. Actionでラムダ書くと死ぬ 対応 struts2-java8-support プラグインを入れる 42
- 43. 事件3. Actionでラムダ書くと死ぬ 対応 struts2-java8-support プラグインを入れる 43 Actionでラムダが 動いた！！
- 44. 事件3. Actionでラムダ書くと死ぬ 教訓 行き当たりばったりは良くない • でも Java8 で行くって言っちゃったし … 無意味でもM, V, Cとかいろんな場所にラムダを 書いて炙り出しをしておくべきだった 44
- 45. 45 もうそろそろ 大丈夫そう？
- 47. 事件4. Mac PCだと死ぬ 事象 Windows PCでは動作しているのにMac PCだと ラムダ書いた場所でエラー 原因は不明 47
- 48. 事件4. Mac PCだと死ぬ 背景 開発環境が Windows PC から Mac PC へ一斉に 移行される予定だった • MacBookがいつ納品されるのかよく分からない！？ • WindowsとMacの混在状況が予定よりも長く続く Mac移行を先行した人（人柱さん）が無事地雷 を踏んだ模様 48
- 49. 事件4. Mac PCだと死ぬ 対応までの流れ ORM に DBFlute を使用 DBFlute の Java8 対応版へのバージョンアップ を試作していた（後方互換なし） • 次のリリース直後に一気に移行作業、な予定だった なぜか DBFlute Java8 対応状態では正常に動作 予定を繰り上げて決行 49
- 50. 事件4. Mac PCだと死ぬ 教訓 Point of No Return を短いスパンでいくつも超え るのは怖いが案外なんとかなる • もちろんやらないほうがいい 50
- 51. Windows・Mac PC 混在状況 両方の環境で動くようにメンテする羽目になる 両方の環境の手順書を維持する羽目になる 51
- 52. Windows・Mac PC 混在状況 両方の環境で動くようにメンテする羽目になる 両方の環境の手順書を維持する羽目になる 52 結構辛い…
- 54. 事件5. デザインツールが動かない 背景 PDFの生成には Jasper Report というライブラリ を使用していた デザインには専用のツールが必要 54
- 55. 事件5. デザインツールが動かない 事象 Jasper Report のデザインツールが Java8 だとお かしな挙動をする 開発者のデザインツールがまともに動かないと いうことで、PDFのデザインフォーマットが変 更できない 55
- 56. 事件5. デザインツールが動かない 原因 件のツールでは JDK6 が必要 56
- 57. 事件5. デザインツールが動かない 対応 取り合えずPDFのフォーマットに関わる仕様変 更をしばらく凍結 • 緊急案件なら JDK6 をいれていただく Jasper Report 撲滅へと乗り出す 57
- 58. 事件5. デザインツールが動かない 教訓 バージョンを飛ばすと当然踏む地雷は増える • 妥当に踏みました 58
- 59. ここまでで増えたタスク 組み込みAPサーバー化 Jasper Report 撲滅作戦 Spring 4 へのバージョンアップ 59
- 60. 組み込みAPサーバー化 60
- 61. 組み込みAPサーバー化 目的 Eclipse プラグインからの脱却 • Run Jetty Run プラグインのメンテしたくない 開発環境と本番環境で使うものを合わせる • 本番環境だけで問題発生、といったことを防ぐ 手段 組み込み Tomcat を使用する 61
- 62. 組み込みTomcat 以下のように書く docBase には webapp フォルダを設定 • WEB-INF を持つフォルダ • ソースを見ると *.war でもいけそうだったが、やって みたところ異様に起動が重かった 62 Tomcat tomcat = new Tomcat(); Context context = tomcat.addWebapp(contextPath, docBase); tomcat.start(); tomcat.getServer().await();
- 65. 事件6. JSPの描画で死ぬ 事象 JSPをビューとして使用するページで 500 Internal Server Error 65
- 66. 事件6. JSPの描画で死ぬ 原因 Jasper Report が依存しているEL式のライブラ リーが古く、そちらの方を読み込んでしまって 関数が見つからない 66
- 67. 事件6. JSPの描画で死ぬ 原因 Jasper Report が依存しているEL式のライブラ リーが古く、そちらの方を読み込んでしまって 関数が見つからない 67 また Jasper Report
- 68. 事件6. JSPの描画で死ぬ 対応 本番への組み込みAPサーバー適用は Jasper Report を撲滅してからにする 直近はローカル環境でのみ組み込みAPサーバー で動くように pom をいじる （Jasper Report 撲滅後）全プロダクトで一斉に 切り替えるのは怖いので少しずつ移行 • Maven profile で切り替え 68
- 69. 組み込みTomcat化 現状 本番サーバーでの組み込み化は完了 運用開始後、特にトラブルはない • びびって小出しにする必要はなかった • 問題がないと逆に不安になる 69
- 71. Jasper Report 撲滅作戦 作戦 Flaying Saucer (with Atlassian’s Patch) を使用 • 日本語周りのバグをAtlassianさんが修正したもの • HtmlファイルをPDF化するライブラリ 粛々と置き換える • デザインを Html へ落とし込む 71
- 72. Jasper Report 撲滅作戦 作戦 Flaying Saucer (with Atlassian’s Patch) を使用 • 日本語周りのバグをAtlassianさんが修正したもの • HtmlファイルをPDF化するライブラリ 粛々と置き換える • デザインを Html へ落とし込む 72 無事リリース
- 73. 事件7. ダメ文字で死ぬ 73
- 74. 事件7. ダメ文字で死ぬ 事象 垂直タブが含まれているとそこまでで処理が終 わってしまう → 中途半端な PDF が出力されてしまう 74
- 75. 事件7. ダメ文字で死ぬ 事象 垂直タブが含まれているとそこまでで処理が終 わってしまう → 中途半端な PDF が出力されてしまう 対応 ダメ文字を入力時と出力時にフィルタリング 75
- 76. 事件7. ダメ文字で死ぬ 教訓 ユーザーの入力は信用しない DBに入っているデータも信用しない ライブラリへの入力は慎重に あらゆる入力は信用できない 76
- 77. Spring 4 移行作戦 77
- 78. Spring 4 移行作戦 Spring 3.x → Spring 4.x へ Spring 4.1 だと Quartz Scheduler 周りでコンパイ ルエラーになったので Spring 4.0 へ • Quartz Scheduler 移行は後で 修正はpom の中のバージョンを上げるだけ 78
- 79. Spring 4 移行作戦 Spring 3.x → Spring 4.x へ Spring 4.1 だと Quartz Scheduler 周りでコンパイ ルエラーになったので Spring 4.0 へ • Quartz Scheduler 移行は後で 修正はpom の中のバージョンを上げるだけ 79 検証で問題なかったので リリースしてみた
- 80. 事件8. 秋のOOM祭り 80
- 81. 事件8. 秋のOOM祭り java.lang.OutOfMemoryError: Metaspace • Java 8 でクラスなどを確保する領域を Metaspace とい い、Native メモリとして扱われる リリースしてからちょっと経ってから出始める → とりあえずインスタンスタイプ（AWS）を あげると収まった 81
- 82. 事件8. 秋のOOM祭り 原因究明 Spring 4.0 はリクエストを処理した時にクラス 数が増加 Spring 4.1 はリクエストを処理した時にクラス 数が変わらない Spring 4.1 へ 82
- 83. Spring 4.1.x へ 背景 Spring 4.1 以上では古い Quartz Scheduler の方式 はサポートしなくなった 作戦 Spring Batch の方式で書き直す ついでに Spring 4.1 にアップデートする • ちなみに Spring 4.2.x だと DWR というライブラリー が死ぬ 83
- 84. Spring をバージョンアップ 結果 メモリーの使用状況を見る限りバージョンアッ プ後もあまり変化はなかった マシンスペックが上がったことで安定して稼働 しているので、そもそもメモリーが足りていな かったのかもしれない 84
- 86. 並行して行っていたこと 86
- 87. ついでにいろいろ導入 Mac導入など環境の作り直しもあって環境周り の見直しなどを行っていた = 技術的負債返済の一環 • Vagrant による環境構築手順の簡略化 • パスワードなど重要な情報を環境変数へ • Spring 3.1.xからの機能で、propertyt 値を上書きできる • Lombak • Java Config化 • `mvn -Dmaven.test.skip=true` をやめる 87
- 88. Vagrant 仮想環境構築ツール 設定を作る人が頑張れば後の人が楽できる コマンド数発で MySQL 等のミドルウェアの セットアップが終了 PC のスペックと要相談 88
- 89. Vagrant 使用しているPC • MacBook Pro • プロセッサ: 3.1 GHz Intel Core i7 • メモリ: 16 GB 1867 MHz DDR3 現在仮想環境で動作中のもの（割り当て:2GB） • MySQL • PostgreSQL • Redis • Cassandra • Solr 89
- 90. Lombok – 紹介 ボイラープレートコードを解消するためのツール • 自明だが省略できないお決まりのコード断片 例えば Getter や Setter をクラスの先頭にアノテー ションをつけるだけで自動生成されたことになる 90 @Getter class Foo { private String bar; } class Foo { private String bar; public String getBar() { return bar; } } =
- 91. Lombok – よく使うもの @Getter, @Setter • 前述の通り @Data • クラスの先頭につけておくだけでGetter/Setter, toString, equals, hashCode が実装したことになる @Value • Immutable なオブジェクトの定義 etc
- 92. Lombok – メリット・デメリット メリット コードがすっきりと簡潔になる 実はテストのカバレッジに効く • コード自体は書かないので デメリット 若干検索性が下がる 変数名の変更時などに若干手間 92
- 93. Java Config 化 XMLは補完が効かなかったり、リファクタリン グ時に修正を忘れて事故ることがよくある Java Config にすれば Java のコードで設定をかけ るのでIDEの補助が効き、また if 文の利用など 小回りがきく 93
- 94. Java Config 化 以下のような書き換えを行う 94 <bean id=“foo” class=“jp.bizreach.Foo” /> @Configuration class Config { @Bean public Foo foo() { return new Foo(); } } ↓
- 95. テストの実行 事業会社はスピードが最重要とはいうけれど、 そろそろテストが実行されないのはまずい ようやく Unit Test や Integration Test の自動実行 の環境が整った • Unit Test: JUnit4 • Integration Test: Selenium WebDriver • Vagrant で環境を作り、DB には DBFlute 付属の機能でデータ を流し込み、Solr のインデックス処理を行う関数（自作）を 実行し、Selenium WebDriver による Integration Test を実行 95
- 96. テストの実行 本格運用はこれから • まだ全然テストが書かれていない これから長い旅が始まる 96
- 97. 他のこまいの Optional#orElseThrow が開発環境だと問題ない が検証環境だとビルドがこける Optional#orElseThrow の中で throw すると開発環 境だと問題ないが検証環境だとビルドがこける Eclipse で、ちょっと複雑な Lambda 式でコンパ イルエラーになったりする etc... 97
- 98. まとめ 98
- 99. Java8 化にあたって フレームワークやライブラリーが古い状態だと 同時多発的に問題が起こる 技術的負債が表面化し、いつの間にかそれとの 戦いが中心となっていた Java8 化する前にすることはいっぱいあった 99
- 100. Java8 にする前に 各種フレームワークは最新版に 組み込みAPサーバー化する Jasper Report とお別れする Eclipse プラグインに依存しない 100
- 101. Java8 化等いろいろしての実感 Lambda 使えるようになって、コード量が減り、 可読性が上がった Stream でうまい感じで処理を書くことができる と気持ち良い Lombok が便利 • @Data, @Value, @Builder, @Slf4j, … XMLファイルをいじることがなくなった 101
- 102. Java8 化により得られたこと これからの動きに追従できる • Spring 5 は Java 8+ • DBFlute 1.1 など、Java8 に対応・最適化されたライブ ラリ・フレームワークが出てきている • Lambda の出現により書き方の最適解が変わった • Java 9 が見え始めている 102
- 103. これからやっていくこと JSP はやめたい • 少なくとも混在状況がよくない • 撲滅運動進行中 DWR をやめたい Struts2 もおさらばしたい • 新アーキテクチャーへの移行計画 103
- 104. これからやっていくこと JSP はやめたい • 少なくとも混在状況がよくない • 撲滅運動進行中 DWR をやめたい Struts2 もおさらばしたい • 新アーキテクチャーへの移行計画 104 まだまだ道半ば
- 107. 107 We are hiring!
Editor's Notes
- #2: ----- 会議メモ (15/11/20 18:08) ----- 技術的なこと やった ライブラリー ロードップ的なものと 肉リーチ カドック性 コードをはっつける Lombok追加