![HPCPackエディションの変遷
ほぼ半年に１度リリース
機能拡張とパッケージのスリム化が行われている
リリース時期
2010年7月
2010年12月
2011年6月
2011年11月
2012年6月
2012年12月
2013年8月
[NEW]
HPC Pack の名 社内呼称 バージョン番号
称
2008 R2 SP0
v3 RTM
3.0.2369.0
(RTM)
2008 R2 SP1
v3 SP1
3.1.3267.0
2008 R2 SP2
v3 SP2
3.2.3716.0
2008 R2 SP3
v3 SP3
3.3.3950.0
2008 R2 S4
v3 SP4
3.4.4169.0
2012
v4 RTM
4.0.3906.0
2012 SP1
v4 SP1
4.1.4174.0
Dryad 統合
完全無償化
ワンパッケージ化](https://image.slidesharecdn.com/hpcserverpublished-131213050041-phpapp01/85/Hpc-server-7-320.jpg)
Hpc server講習会第３回応用編
- 1. HPC Server 講習会 第３回 応用編 2013/11/06 デンソーアイティーラボラトリ 増谷
- 2. 1.前回までの復習
- 3. 前回の復習 第１回 HPC Serverとは MicrosoftのHPC用プラットフォーム Windows Server, Windows 7, Windows Azureを組み込め る 基本概念 ジョブ、タスク、ノード 簡単な使い方 シリアルアプリケーション パラメータスイープ Matlabからの利用
- 5. 導入イメージ ヘッドとワーカーに分かれる Compute Node Workstation Node HPC Pack 2008 R2 HPC Pack 2008 R2 HPC Pack 2008 R2 Enterprise Express Workstation Windows HPC Server Windows 7 Head Node Compute Node Windows HPC Server 2008 R2 ヘッドノード 2003 / 2008 / 2008 R2 社内サーバ クライアント
- 7. HPCPackエディションの変遷 ほぼ半年に１度リリース 機能拡張とパッケージのスリム化が行われている リリース時期 2010年7月 2010年12月 2011年6月 2011年11月 2012年6月 2012年12月 2013年8月 [NEW] HPC Pack の名 社内呼称 バージョン番号 称 2008 R2 SP0 v3 RTM 3.0.2369.0 (RTM) 2008 R2 SP1 v3 SP1 3.1.3267.0 2008 R2 SP2 v3 SP2 3.2.3716.0 2008 R2 SP3 v3 SP3 3.3.3950.0 2008 R2 S4 v3 SP4 3.4.4169.0 2012 v4 RTM 4.0.3906.0 2012 SP1 v4 SP1 4.1.4174.0 Dryad 統合 完全無償化 ワンパッケージ化
- 8. What’ new in HPC Pack 2012 エディション構成 2012からは無償：Windows機の数だけノード数を増やせる 昔はヘッドノードとワークステーションノードが有償だっ た（それほど高くは無いが） HPC Packが１種類に：インストーラでノード種を切り替え る サポートＯＳ Server 2008,2008R2はサポートから外された Windows 7はまだ対応 Azure 対応 Azureで提供されるVPN(WAVN)を活用可能に VHDを自動マウント可能に：データの配布がシンプルに Azure上にヘッドノードを設置可能に
- 9. さあどうぞ Compute Intensiveなタスク(embarrassingly parallel) 簡単なバッチ処理を分散したいだけなら 小さめのデータ：転送が負担にならない 処理単位が大きい：分割をあまり工夫しなくてよい HPC Serverと通常の共有ファイルシステムで十分 データの分配、最適化等を考えなくて良い Data Intensiveなタスク 大量のデータを処理 データの配布を含めた配慮が必要な場合 MapReduce？？ Amazonに行く？ ： ちょっと待った！
- 11. Hadoopとは
- 12. Azure上のHadoopエコシス テム Azure上でHadoopを活用する方法 は複数ある ストレージ テーブル (NoSQL、Key-Value スト ア)、SQL データベース、BLOB など VMによるLinux環境 ほぼネイティブな環境 OSライセンスの心配なし HDInsight より大規模な運用 ほぼターンキーソリューション ノードの管理などが容易
- 13. HDInsight Microsoft の Hadoop環境 純粋なHadoop：Javaベース MSが開発したHadoopのポーティング Windows AzureとオンプレミスWindows Serverの 双方に対応 スケジュール 2013/10/28 から正式版リリース
- 14. HDinsightの構成
- 15. 特徴 使い慣れたツール PowerPivotやPower ViewなどのBIツールに統合されている SQL Serverとの連携 機敏性 大規模運用 セキュリティ確保 リッチな開発者エクスペリエンス 数分で展開可能 Java/.NET LINQ to HIVE オンプレミス版の存在 ステージング環境として 廉価な常時運用環境として Windows 7用 HDInsightのインストール： http://www.ne.jp/asahi/hishidama/home/tech/apache/hadoop/hdinsight_pre view.html
- 16. HDInsightのフロントエンド Azure PowerPivot Power View PowerShell シェルスクリプトから利用 開発環境 Java .NET
- 17. HDInsight のコスト ヘッドノード 計算ノード 1時間当たり36.54～42.36円、 18.27～21.60円 自前で IaaS 上に Hadoop クラスターをデプロイ するには数日から数週間を要するが、Windows Azure に Hadoop クラスターをデプロイするこ とによって、所要時間を数分に短縮できる。また、 作業の終わったクラスターは、シャットダウンす ることでコストセーブできるという。 http://japan.internet.com/busnews/20131029/6.html 2013年11月30日まではキャンペーン料金 ヘッドノードが1時間当たり18.27～21.60円、 計算ノードが同9.14～10.80円 半年または1年の契約を結ぶことで、20～32％の割引を受けられる。
- 18. MSのMapReduceタイプの フレームワーク変遷 2008 HPC Pack 2009 2010 2011 2008R 2 2008 2008R 2 SP1 2008R 2 SP2 2012 2008R 2 SP4 2008R 2 SP3 C R B 2 LINQ to HPC 2012 SP1 P Hive ODBC Driver Dryad B 1 A Project Daytona 統合 C HDInsight Azure C HDInsight Server C MS Blog記事などより収集 Community Preview 2012 統合 Hadoop Connector C 2013 P Public Preview R Release A Alpha B Beta P R P
- 19. HDInsight 過去のMSの分散コンピューティングプラットフォー ムとの関連 SQL Server Connector for Hadoop ; Scoop ベースの コネクタ HDInsightへ統合 Daytona : MSRのMapReduce環境：？ Dryad : パイプラインを指定しない自動的な構成？HPC to Linq
- 27. Jobの作成
- 28. Monitoring
- 31. Javaだけか？
- 32. .NET MapReduce
- 33. LINQ to HIVE
- 34. .NET MapReduce 準備 以下の３つをNuGetから取る Microsoft Linq to Hive Microsoft .NET Map Reduce API For Hadoop Microsoft .NET API For Hadoop WebClient Usingする using Microsoft.Hadoop.WebHDFS.Adapters; using Microsoft.Hadoop.WebHDFS; using Microsoft.Hadoop.Hive;
- 35. .NETでHDFS
- 38. .NET Hadoopの利点 Visual Studioで開発可能 Linq to HIVEにて、MapperやReducerを書かなくて も簡単な処理が可能