AWS Database Migration Service ご紹介
13 likes15,167 views
2016年2月16日「事例とデモで知るAWSへのデータベース移行」での AWS Database Migration Serviceご紹介の資料です。 2016/03/29更新：DMSが正式リリースされたため資料を更新しました。 2016/05/09更新：Redshitがサポートされたので資料を更新しました。また、CDCのサポートについてより明確になるように記載を追加しました(p.7) 2016/07/14更新：DMSのCDCの正式サポートとSSLサポート、マルチAZ機能追加、およびSCTの対象RDB追加等について更新しました。 2016/08/02更新：セキュリティグループについて古い記述が残っていたのを修正しました
![34
補足情報：DMS操作に必要なIAM権限
※詳細はマニュアルを参照
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": "dms:*",
"Resource": "*"
},
{
"Effect": "Allow",
"Action": "kms:*",
"Resource": "*"
},
{
"Effect": "Allow",
"Action": [
"iam:GetRole",
"iam:CreateRole",
"iam:AttachRolePolicy"
],
"Resource": "*"
},
{
"Effect": "Allow",
"Action": [
"ec2:DescribeVpcs",
"ec2:DescribeInternetGateways",
"ec2:DescribeAvailabilityZones",
"ec2:DescribeSubnets"
],
"Resource": "*"
},
{
"Effect": "Allow",
"Action": [
"cloudwatch:Get*",
"cloudwatch:List*"
],
"Resource": "*"
}
]
}](https://image.slidesharecdn.com/dms-160216063242/85/AWS-Database-Migration-Service-34-320.jpg)
AWS Database Migration Service ご紹介
- 1. 1 © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. アマゾン ウェブ サービス ジャパン 下佐粉 昭 2016年2月16日 （2016年8月2日更新） AWS Database Migration Service ご紹介＆デモ
- 2. 2 AWS Database Migration Service
- 3. 3 AWS Database Migration Service（DMS） • RDB間のデータ移行を支援する サービス • 異機種間のデータ移行も対応 • 利用が容易 DMS オンプレミス RDB RDS RDB on EC2 オンプレミス RDB RDS RDB on EC2 ※オンプレ to オンプレは未サポート
- 4. 4 2016年3月16日 DMSが正式リリース（GA）! http://aws.typepad.com/aws_japan/2016/03/aws-database- migration-service.html 利用可能リージョン： US East (Northern Virginia), US West (Oregon), US West (Northern California), Europe (Ireland), Europe (Frankfurt), Asia Pacific (Tokyo), Asia Pacific (Singapore), Asia Pacific (Sydney)
- 5. 5 設定と利用の流れ ソース・ターゲットのDBの準備 DMSレプリケーション インスタンスの作成 エンドポイントの作成 タスクの作成＆実行 データ転送範囲と方法の定義 接続するDBへの接続定義 （ソース＆ターゲット） ソースDB DMS ターゲットDB VPC内にインスタンスが作成されます
- 6. 6 レプリケーションの方法 • Migrate existing data（フルロード） • DMSがソースDBから対象表のデータを読み取る • ターゲットDBにデータをロードする • Replicate ongoing changes（CDC） • DMSがソースDBのトランザクションログから更新差分を抽出 • 継続的にターゲット表にアプライする • ソースDBの負荷が低いレプリケーションを実現 • 表全体をフルロードした後に、継続的にCDCも可能
- 7. 7 【補足】CDCについて（2016年7月14日更新） • GA時点では長期間のCDC継続利用はサポートされてい ませんでしたが、現在は正式にサポートされています • https://aws.amazon.com/about-aws/whats-new/2016/07/aws- database-migration-service-now-supports-continuous-data- replication-with-high-availability-enables-ssl-endpoints-and- adds-support-for-sap-ase-formerly-sap-sybase-ase/ • CDCを長期間利用される場合は、マルチAZ構成でDMS インスタンスを作成される事を推奨します
- 8. 8 Demo
- 9. 9 ユースケース①AWS内でのマイグレーション ソースDB DMS ターゲットDB ソースDB DMS ターゲットDB VPC Peering VPC内のマイグレーション VPC間のマイグレーション
- 10. 10 ユースケース②オンプレミスからのマイグレーション 直接（TCP/IPで）接続 インターネットVPNもしくはDirect Connect経由 ソースDB DMS ターゲットDB オンプレミスDC Internet Gateway ソースDB DMS ターゲットDB オンプレミスDC VPN Gateway Customer Gateway VPN DMSからオンプレミスのRDBに接 続できる必要がある点に注意
- 11. 11 サポートするデータベース（2016年7月14日更新） ソース ターゲット SSL接続 Oracle on-pre/EC2 10g, 11g, 12c Ent/SE/SE1/SE2 10g, 11g, 12c Ent/SE/SE1/SE2 n/a RDS 11g, 12c Ent/SE/SE1/SE2 11g, 12c Ent/SE/SE1/SE2 MySQL on-pre/EC2/RDS 5.5, 5.6 5.5, 5.6 ○ PostgreSQL on-pre/EC2 9.4 9.3以降 ○ RDS 9.4 ※1 9.3以降 SQL Server on-pre/EC2 2005, 2008, 2008R2, 2012, 2014 Ent, Std, Workgroup, Developer 2005, 2008, 2008R2, 2012, 2014 Ent, Std, Workgroup, Developer ○ RDS 2008R2, 2012, 2014 Ent, Std, Workgroup, Developer ※1 2008R2, 2012, 2014 Ent, Std, Workgroup, Developer Aurora RDS MySQL互換としてサポート MySQL互換としてサポート ○ MariaDB on-pre/EC2/RDS MySQL互換としてサポート MySQL互換としてサポート ○ Redshift （ソースとしてはサポート無し） ターゲットDBとしてサポート n/a SAP ASE (Sybase ASE) on-pre/EC2 15.7以降 15.7以降（※１） n/a ※１：CDC利用不可 ※２：日本語データを含む場合は15.7 SP121以降
- 12. 12 「使った分だけ」の価格体系 ※東京リージョンでの2016年7月時点の価格です ※利用方法によっては、別途CloudWatch LogsやS3の利用料金が発生します http://aws.amazon.com/jp/dms/pricing/ インスタンス ＋GP2 SSDストレージ ＋通信費用 dms.t2.micro: $0.028/時間 ~ dms.c4.4xlarge: $1.564/時間 0.138/GB/月 インバウンド：無料 同一AZ間通信：無料 アウトバウンド（インターネット）：$0.14/GB
- 13. 13 DMS利用のポイント
- 16. 16 AWS Schema Conversion Tool（SCT） 異なるRDB間での各種オブジェクトの移行（変換）を補助す るツール • Windows, Mac, Linux にダウンロードして利用 • 稼動OSは64bit版のみサポート • ODBCで接続。SSLサポートあり • ソースコード内のSQL分析に対応 移行対象： • 表、インデックス、トリガー、プロシージャ、制約、ビュー SCTが自動変換した型が最適とは限らないので、業務に合わ せた微調整は必要
- 18. 18 【参考】Schema Conversion Toolスクリーンショット（続き） 変換前（Oracle PL/SQL) 変換後 (Aurora Function)
- 20. 20 タスクとテーブルマッピング • 特定のスキーマや表を移行対象に、もしくは対象外にす ることをJSONフォーマットで指定可能 { "Type": "Include", "SourceSchema": "company", "SourceTable": "%" }, { "Type": "Exclude", "SourceSchema": "company", "SourceTable": "emp%" }, { "Type": "Explicit", "SourceSchema": "company", "SourceTable": "local" }, Includeでスキーマ配下の 表を含める Excludeでスキーマ配下 の表を対象外に。ワイル ドカード（%）で名前指 定も可能 特定の１表だけ指定した い場合はExplicit
- 21. 21 データ移動の仕組み① Migrate existing data（フルロード） • ソース表を一旦インスタンスのEBSにコピーして、一括ロード • EBSは暗号化されています • ソース表が大きい場合は分割して実行 • RDB固有のファンクションを呼び出している • 例）OracleであればDirect Path Loadの利用
- 22. 22 データ移動の仕組み② Replicate ongoing changes（Change Data Capture：CDC） • トランザクションのログ（REDOログ、BINログ等）を読み取っ て、更新差分を転送する • 低負荷な継続的レプリケーションを実現 • ログ読み取りの方法はRDBそれぞれで異なる。読み取れるよう に事前に設定が必要 • 長期的にレプリケーションし続ける場合は、DMSインスタンス をマルチAZ構成にする事を推奨
- 23. 23 CDCを利用する前に必要な設定 ソースDBでトランザクションログが読めるように設定する • ログを出すようにする設定と権限の設定 • RDBMSごとの詳細はマニュアルに記載 • Oarcleの例）ALTER DATABASE ADD SUPPLEMENTAL LOG DATA : (詳細はマニュアルを参照） RDSの場合は、通常のコマンドで変更出来ないため注意 • 例）RDS OracleでSupplemental loggingを有効にする • exec rdsadmin.rdsadmin_util.alter_supplemental_logging('ADD’); • exec rdsadmin.rdsadmin_util.alter_supplemental_logging('ADD','PRIMARY KEY’); ：（詳細はマニュアルを参照）
- 24. 24 動作の確認 • タスク作成時にEnable loggingをONに（推奨） • CloudWatch LogsでDMSの稼動状況を確認可能に • エラー時はRDB側のログ確認も重要
- 26. 26 セキュリティ セキュリティグループ・IAM・ディスク暗号化 DMS RDS RDB on EC2オンプレミス RDB データセンター Availability Zone Firewall security group FWではDMSのパブリックIPアドレ スから、オンプレミスRDBのポート へのインバウンドのみ許可 セキュリティグループでDMSのプラ イベートIPアドレスからRDBのポート へのインバウンドのみ許可 • 操作できるユーザはIAMで制御 • EBS暗号化がデフォルトON • セキュリティグループの設定 も可能 SSLの利用
- 27. 27 その他：構成の注意点 • VPC内に閉じているケースや、VPNや専用線でVPCに接続 しているケースではパブリックIPは不要 • DMSのパブリックIPは後からON/OFF変更できない点に注意 • DMSからインターネット経由でデータベースに接続する場 合はSSL利用を検討 • 長時間継続してDMSインスタンスを利用する場合はマルチ AZを検討 • インスタンスの停止という概念が無い
- 28. 28 その他：落ち葉拾い エラーが出てもデータ移動は成功している場合も • CloudWatch LogsやRDBのログでエラーメッセージを確 認してください（制約で表がDROP出来なかった等） • スキーマを変更した場合はEndpointのスキーマリフレッ シュを実行してください フルロードでは参照整合性（RI）に注意 • RIの順序を意識してフルロードしないため、ターゲット にRIがあるとロードに失敗する可能性があります • CDCであればRIがあっても問題なく追記されます
- 29. 29 まとめ • DMS＝データベース移行のサービス • 多様なRDBをサポートし、異機種移行をサポート • オンプレ - AWS間、AWS内、両方をサポート • すぐに使い始められ、コスト効果が高い • 移行を補助するSchema Conversion Toolを提供
- 30. 30 補足：Redshiftのサポートについて Redshiftへのデータ投入 • S3バケットにデータが一時的に保存され、RedshiftにCOPYコマンド で投入されます 一時データ置き場であるS3バケットについて • S3の利用費用はお客様負担です • S3へのアクセス用Role：dms-access-for-endpointがDMSインスタン スに追加され、権限でS3にアクセスされます • バケットは”dms-”から始まる名前で作成されます • 一時置きのデータはRedshiftにCOPY完了後に削除されます • 作成したバケットはEndpointが削除と同時に削除されます
- 32. 32 補足情報：AWS Database Migration Service • ホームページ • https://aws.amazon.com/jp/dms/ • マニュアル • https://aws.amazon.com/documentation/dms/ • FAQ • http://aws.amazon.com/jp/dms/faqs/ • フォーラム • https://forums.aws.amazon.com/forum.jspa?forumID=216 • re:Invent 2015での解説セッション（30分の動画） • https://www.youtube.com/watch?v=JuUE5HZb2gs
- 33. 33 補足情報：AWS Schema Conversion Tool • ホームページ • http://aws.amazon.com/jp/dms/sct/ • マニュアル • http://docs.aws.amazon.com/SchemaConversionTool/latest/u serguide/Welcome.html • フォーラム（ダウンロードもこちら） • https://forums.aws.amazon.com/forum.jspa?forumID=208
- 34. 34 補足情報：DMS操作に必要なIAM権限 ※詳細はマニュアルを参照 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "dms:*", "Resource": "*" }, { "Effect": "Allow", "Action": "kms:*", "Resource": "*" }, { "Effect": "Allow", "Action": [ "iam:GetRole", "iam:CreateRole", "iam:AttachRolePolicy" ], "Resource": "*" }, { "Effect": "Allow", "Action": [ "ec2:DescribeVpcs", "ec2:DescribeInternetGateways", "ec2:DescribeAvailabilityZones", "ec2:DescribeSubnets" ], "Resource": "*" }, { "Effect": "Allow", "Action": [ "cloudwatch:Get*", "cloudwatch:List*" ], "Resource": "*" } ] }