Final LINQ extensions III
8 likes17,443 views
Final LINQ extensions III - Center CLR part 4 session http://www.kekyo.net/2015/08/30/5259
![式木の構造
ラムダ式を示す式木
Expression<Func<int, bool>>
int BinaryExpression (Equal)
ConstantExpression (0)intBinaryExpression (Modulo)int
ParameterExpression (v)int ConstantExpression (2)int
ParameterExpression[0] (v)](https://image.slidesharecdn.com/finallinqextensionsiii-150830011455-lva1-app6891/85/Final-LINQ-extensions-III-11-320.jpg)
![匿名クラスを生成するNew式
Selectの式木はNew式と
仮定して...
Newのメンバ初期化式は全て（モデルの）
フィールド参照式と仮定して、名前を取得
NewExpression
int FieldExpression[0] (ID) FieldExpression[1] (Name)string
newを使って匿名クラスに射影すると、式木上はNewExpressionとい
う式木に格納されます。だから：](https://image.slidesharecdn.com/finallinqextensionsiii-150830011455-lva1-app6891/85/Final-LINQ-extensions-III-32-320.jpg)
Final LINQ extensions III
- 2. Final LINQ Extensions Ⅲ Center CLR Part.4 – 2015.05.10 Kouji Matsui @kekyo2
- 3. 自己紹介 けきょ (@kekyo2 Kouji Matsui) Microsoft MVP for .NET (2015.04～) LINQ, Async, .NETとか Center CLRオーガナイザーです 会社やってます アーキとかフレームワーク設計とか
- 4. アジェンダ LINQソース 式木の使われ方 IEnumerableへのフォールバック 並列化 Pick it up for Multiple! TPLとの関係
- 5. フフフ、メモリを救いたいか？ ヒントをやろう らんどせるさん曰く： Final LINQ Extensionsでは、 ずっと「オンメモリ」の話 をしてきたヨネ？
- 11. 式木の構造 ラムダ式を示す式木 Expression<Func<int, bool>> int BinaryExpression (Equal) ConstantExpression (0)intBinaryExpression (Modulo)int ParameterExpression (v)int ConstantExpression (2)int ParameterExpression[0] (v)
- 12. 式木の探索
- 13. 式木の探索
- 14. 式木の探索
- 15. そんなわけで…. 式木（ExpressionTree）を使うと、式の構造自体を動的に解析できま す。 そして、式木を書かせるためには、「Expression<Func<…>>」のような 形式の「ラムダ式木」型を受けるようにしておけばOK。 使う側は、普段通りにLINQクエリを書いているつもりで、実は式木 を書かされている事に気が付かない。 式木を解析して、SQL文に変換できれば、サーバーに送って直接クエ リを実行できます。つまり、クライアント側のメモリ上で、超大量 のデータをフィルターしたりソートしたりする、というような、非 現実的なことはやらなくても済みます。
- 17. IQueryableの理想郷 クエリプロバイダーの実装は省略（複雑なので：変換できることが 分かってもらえればOK） ブログのAdvent LINQ 2013を見てください。 実際、自分で書かなくても、「EntityFramework」という、こなれたラ イブラリがあります。 昔はLINQ to SQLという、SQL Server向けの実装もありましたが、今は完全に Obsoleteです。
- 18. IQueryableの現実 IQueryableインターフェイスとQueryableによる標準の拡張メソッド群 と、この背景で動作するクエリプロバイダーを実装すると、LINQの 計算を完全にアウトソースする、独自のシステムを構築できます。 しかし…. Queryableクラスの標準演算子は、対象のシステムをうまく表現出来ていない 可能性があります。例えば、リモートシステムは、検索条件に独自の制限が あったり、グループ化（GroupBy）という概念は無かったりとか。 そういう場合でもLINQでコードは書けてしまう（== コンパイル時にエラーを 検出出来ない・実行時に式木解析中に発見し、エラー）。 逆に、LINQの標準演算子では定義されていないような演算が出来ない（クエ リヒントとか。独自にIQeuryableの拡張メソッドを定義すれば不可能ではない が…）
- 19. LINQ、ダメなのかよ、終わっちまうのかよ… えーとですね、つまり、IQueryableに頼らなければ良いのです。 この問題の核心は、Queryableに定義された拡張メソッドが、外部シ ステムとして「LINQ to Objectっぽいシステム」や「SQL Serverのよう なRDBもの」 を想定している事が問題なのです。
- 20. え？ まだ、ピンとこない？
- 21. IQueryableに頼らないLINQ IQueryableやクエリプロバイダーに頼らないLINQソース（供給源）を 書いてみます。 何となくO/Rマッパー的な物を想定して、最終的に限定的なSQL文 （WHEREとSELECT）を生成する所までを実現してみましょう。 え、そうです、このセッションで説明できる程度の事ですよ。 OreOreテーブルの構造を モデル化したクラス カラムを定義
- 30. 射影も可能に！
- 32. 匿名クラスを生成するNew式 Selectの式木はNew式と 仮定して... Newのメンバ初期化式は全て（モデルの） フィールド参照式と仮定して、名前を取得 NewExpression int FieldExpression[0] (ID) FieldExpression[1] (Name)string newを使って匿名クラスに射影すると、式木上はNewExpressionとい う式木に格納されます。だから：
- 35. LINQ to OreOre O/Rマッパー クエリの列挙（実行）が可能に
- 36. LINQ to OreOreの展望 このデモはあくまで「SQLモドキ文」の生成なので、色々不備はあり ます： フィルター式が本物のSQL式と違う（式木の解析が必要） 連結されたWhere・Whereのないクエリ・Selectしないで列挙など、LINQクエ リの柔軟性に対応していない（多態性使ったりして、より柔軟にSQL文を構 築させる） IEnumerableと拡張メソッドのように分離されていない（必要であれば） 必要な演算子のサポート（OrderBy・Joinなど） このデモコードは、GitHubに上げておきます： https://github.com/kekyo/CenterCLR.CustomLINQProviderDemo まあ、しかし、LINQでクエリを書くと、RDB等のリモートサーバーに クエリを送信して実行させる事も出来る、って事が分かってもらえ ましたか？
- 37. LINQと式木のまとめ LINQ to Objectsでは、演算子の条件式などをデリゲート（ラムダ式） で指定する。標準演算子はEnumerableクラスに定義されている。 一方、IQueryableに対応する演算子は、Queryableクラスに定義されて おり、一見すると殆ど標準演算子と同じ。但し、Queryableの方はデ リゲートではなく「式木」が渡されるようになっている。 式木がクエリプロバイダーに渡され、様々に独自解釈可能なインフ ラが構築できる。 しかし、構造的に大げさすぎる場合は、式木を使った独自解釈可能 なインフラを、一から作る事が出来る。 むしろ汎用性のないシステム向けにLINQをサポートさせるなら、 IQueryableを使わない方が色々柔軟に設計できる。
- 39. IEnumerableへのフォールバック IQueryableに対して演算子を適用すると、Queryableクラスのメソッド が使われ、クエリプロバイダーが管理するシステムで動作します。 しかし、AsEnumerableメソッドでIEnumerableに変換しておくと、以 後の操作はLINQ to Objectsの世界で行われます。 実はキャストでもOK IQueryable<T> (LINQ to Entities) の世界 （クエリプロバイダーが管理するシステム） IEnumerable<T> (LINQ to Objects) の世界 （オンメモリ） AsEnumerable()
- 41. アジェンダ LINQソース 式木の使われ方 IEnumerableへのフォールバック 並列化 Pick it up for Multiple! TPLとの関係
- 42. 並列LINQ - PLINQ PLINQとは、LINQクエリの指定した演算子から、スレッド並列化を使 用して、演算子を並列実行するインフラです。 使っているシステムのコアスレッド数が多いほど、演算子が並列実行 されます。 「AsParallel」演算子を挟むだけで、以降の演算子は並列実行されます。 超イージーでマルチコアに対応出来る！！ （表向きには）
- 43. 並列LINQ - PLINQ PLINQは超お手軽。「AsParallel」付けるだけ！ PLINQも実は、一種の独自クエリプロバイダーです。 以下はただのLINQ to Objects
- 44. 並列LINQ - PLINQ PLINQは、ParallelEnumerableに定義された拡張メソッドを使います。 そしてクエリはIEnumerable<T>でもIQueryable<T>でもない、 「ParallelQuery<T>」です。 ParallelQuery<T> AsParallel<T>(IEnumerable<T> e) ParallelQuery<T> ParallelEnumerable.Where(ParallelQuery<T> q) IEnumerable<T> Enumerable.Select<T>(IEnumerable<T> e) ParallelQuery<T>は、IEnumerable<T>を実装 しているので、foreachで列挙出来る
- 45. さぞかし速くなっ..... てない？！ むしろ遅くなった orz
- 46. 何が起きているのか？ そもそも、並列化される演算子がWhere一個だけなので： 高速化させるには、もっともっと大量のデータを裁く必要がある。 PLINQのオーバーヘッドが大きいので、相殺されてかえって遅くなる。 2654 19243 558 AsParallel() データ分割 Where() Where() 72389 GetEnumerator() データ再集約 PLINQ区間
- 47. 高速化のポイント 2654 19243 558 AsParallel() 前のデータを 如何に「大量」に「高速に」 投入できるか？ Where() Where() 72389 並列演算する計算量を 如何に増やすか？
- 51. PLINQの高速化は： 演算子にどれだけ負荷をかけられるか RDBでWHERE句やJOIN句を工夫するのと同じように、LINQでも演算子に計算 量を集約することが重要。 LINQソースとなるデータの供給源を高速化する そもそも供給される（時間当たりの）データ量が少ないと意味がない。 PLINQは、データの分散と集約を完全に自動処理しているので、オー バーヘッドが大きい。ParallelQuery<T>のお蔭で非常に透過的で扱いや すいが、クエリの工夫は往々にして必要。 まぁ、パラダイスは無いって事ですね。
- 52. 出たり入ったり AsEnumerable()を使って、並列処理を「終わらせる」事が可能。 GetEnumerator()が呼び出されると、LINQ to Objectsの世界に戻る。 data.AsParallel().OrderBy(value => value). AsEnumerable(). Where(value => (value % 2) == 0). .... ParallelQuery<T>はIEnumerable<T>を実装しているので、IQueryable<T> とか他の独自LINQから、パイプライン結合でPLINQに持ち込むことも 可能（つまり、バッファリング不要）。 oreores.Where(oreore => oreore.ID == 123).Distinct(). AsParallel(). OrderBy(oreore => oreore.Name). .... バッファリング不要を強調してるけ ど、まさか大量のデータを扱う時に ToList()とかしてないわよね？
- 53. 別の方法を考える TPL (Task Palallel Library) は、ちょっと古い方法だけど、並列化の粒度 とか、並列化すべき手段がある程度分かっている場合は、却って扱 いやすい（== PLINQの並列化は、効果を読むのが難しい）。 データの供給は、 IEnumerableベースで可能 しかし、ここからはただのブロックな ので、LINQで処理させる事は出来ない （従来型の手続き実装・ココが痛い） オーバーヘッドが 低いので多少速い
- 54. Awaitableを応用する TPLっぽいですが、非同期処理を並列化します。 C# 5.0のasync-awaitを使って、スレッドではなくタスクベースで並列 化します。Task.WhenAll()を使うのがポイント。 Task.Runでワーカースレッドとして 実行しているが、 ワーカースレッドベースではない 何からの非同期処理でもOK 全てのTaskが完了するのを待機する ワーカースレッドは上限を制限している ので、無制限に生成されることはない