本番用のDBに対してやってしまった話
- 1. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. 本番用のDBに対して やってしまった話 2020/8/24 ITエンジニア怪談 #3 小島 優介(8/27デブサミ関西登壇)
- 2. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. 業務の内容 2 10年以上前の話 数百人が利用している社内ツールの小改善 その社内ツールは SQL Server のデータを取得・更新する ※以降、赤字部分は、その後の悲劇に繋がるポイントです 社内ツール (デスクトップアプリ) SQL Server ユーザー
- 3. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. 社内ツールの改善内容 3 小さな機能(ロジックもシンプル)を追加すること ただし、その機能追加で、DBにアクセスする回数が増えるため DBサーバーの負荷状況に問題が起きないか 念の為にサーバー負荷テストを実施することに ←この時点では「余裕！余裕！」と思っていた私
- 4. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. サーバー負荷テストの実施手順 4 当時(10年以上前)のさらに数年前に その社内用ツールでのサーバー負荷を確認するための テスト用ツールが作成されていた (自分以外の人が作成したテスト用ツール) そのテスト用ツールは、過去数年使われていないようだったが 幸いにも利用手順書が存在した テスト用ツール (デスクトップアプリ) SQL Server 開発者(私) 本番運用を想定した DBアクセスを行って負荷を与える テスト用ツールの概要
- 5. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. テスト実施時の注意点 5 社内ツールでのテストは 本番環境のDBに間違ってアクセスすると 大変なことになるので ちゃんとテスト用のDBにアクセスするように DB設定ファイルを確認した上で、テストを実施する必要がある テスト用ツールも、利用手順書をしっかり読んで、 テスト用のDBにアクセスすることを確認する この時点で、テスト用DBが更新されることを確認していた テスト用ツール テスト用 DB 任意の1レコードが 更新されることを確認
- 6. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. そしてテストを実行 6 テスト用ツールでサーバー負荷テストを実施し、 サーバー負荷状況に問題がないことを確認した テスト用ツール テスト用 DB 本番用 DB 開発者(私) サーバー負荷テスト合格 テスト用DBでテストしたので 本番用DBには影響がないはず
- 7. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. 翌日に異変が 7 ユーザーから以下の問い合わせが！ 「なんかデータが勝手に書き換わっている気がするんだけど」 ←問い合わせ内容を見たときの私
- 8. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. おそるおそる本番環境のDBを見ると・・・ 8 書き換わっている！ なぜ！？ ←絶望した私
- 9. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. 原因はテスト用ツール 9 テスト用ツールのソースコードをよく見ると 処理Aと処理Bの2つのDB更新処理が存在し、 処理Aと処理Bがそれぞれ、どのDBにアクセスするかの設定が存在 (なぜ1つにまとまっていないのかは不明) 処理Aはテスト用DBにアクセスしていたが、処理Bは本番用DBに テスト用ツール テスト用 DB 本番用 DB 処理A 処理B
- 10. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. テスト用ツールのDBアクセスの設定漏れ 10 どのDBにアクセスするかの設定は デフォルトで本番環境のDBにアクセスする設定になっていた 利用手順書には、処理AのDBアクセス設定しか書いていなかったため 手順書通りに実施すると 処理Bは本番環境のDBを更新してしまう状態だった テスト用ツール テスト用 DB 本番用 DB 処理A 処理B 処理BのDBアクセスの 設定が漏れていた
- 11. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. 謝罪とデータ復旧 11 致命傷には至らなかったため、なんとか復旧できた ←関係者に謝罪する私
- 12. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. 教訓 12 何年も使われていないプログラム(テスト用ツールなど)に対しては 手順書を鵜呑みにするのでなく ソースコードを読んで、重大な問題が起きないことを 確認した上で利用すること
- 13. /65 Developers Summit 2020 KANSAI / 2020-8-27 / Yusuke Kojima © DENSO CORPORATION All RightsReserved. 自己紹介 13 名前：小島 優介 Twitter：@kojimadev https://twitter.com/kojimadev 「Serverless LT初心者向け」 というコミュニティを運営 9/7 LT初心者向け LT大会 #3 (発表者を募集中) https://serverlesslt.connpass.com/event/184417/ デブサミ2020関西で登壇予定(約500人が視聴予定) 8/27 14:10-14:55 事前登録すれば無料で視聴できまさす https://event.shoeisha.jp/devsumi/20200827/session/2586/ テーマ 組織と個人が内発的動機により 継続的に成長するための施策