Final LINQ Extensions

Final LINQ ExtensionsCenter CLR Part.2 – 2015.02.07 Kouji Matsui @kekyo2

自己紹介
 けきょ (@kekyo2 Kouji Matsui)
 LINQ, Async, .NETとか
 Center CLRオーガナイザーです
 会社やってます
 認定スクラムマスター
 アーキとかフレームワーク設計とか

Final LINQ Extensions
 そろそろ、LINQも当たり前の空気になってきた今日この頃。
 まだLINQが使えていないという方々に、クモの糸を垂らしてみます。
 普通の入門的な内容なら、いくらでも資料があるので、同じような
内容にならないように、導入を工夫してみました。
 LINQ to Objectが対象です（PLINQは少しだけ触れます）。
 ここを抑えておけば、他のLINQもママ行けるでしょう。

LINQ to Objectとは
 全てのLINQの基本。
 配列やコレクションに対して、統一的な手法で集合演算を実行出来
る「演算子」と構文のセット。

アジェンダ
 ループと分岐処理からの脱却
 構造的な値への適用
 初歩的な演算子
 実践的なforeachの置き換え
 列挙子とは
 演算子を作る
 パフォーマンスの改善
789
456
123

ループと分岐処理からの脱却
 指定された個数の乱数を含む配列を生成
Basicなforループ

 指定された個数の乱数を含む配列を生成（LINQ）
LINQクエリ（メソッド構文）
4つのパートから成っている

 LINQでは、処理内容を「演算子」と呼ばれるメソッド群を組み合わ
せて表現します。
無限数列を生成
乱数を生成
0 0 0 …
Rand() Rand() Rand() …
[r0] [r1] [r2]
乱数の無限数列それらを配列化
count個だけ
「0」の無限数列
count個だけ
… [r(count-1)] 配列

 指定された個数の、偶数のみの乱数列
乱数の生成数 ≠ 結果の個数となるので、
forが使えないのでwhileに変更。
ステート変数としてindexが必要。
偶数の場合のみ、indexがインクリメント
されなければならない

 指定された個数の、偶数のみの乱数列（LINQ）
絞り込み条件として、
式を記述
他の演算子に変化はない
0 0 0 …
[r0] …[r1] [r2] [r(count-1)]
(value % 2) == 0

 指定された個数の、
偶数かつ重複のない
乱数列
値が存在しない場合だけ追加する
今までの数列に値が存在
したかどうかの確認

 指定された個数の、偶数かつ重複のない乱数列（LINQ）
重複する値を除去
他の演算子に変化はない
0 0 0 …
[r0] …[r1] [r2] [r(count-1)]
Distinct
(value % 2) == 0

 LINQは、「数列」に対して、様々な「演算子」を適用して処理を
実現します。
0 0 0 …
[r0] [r1] [r2]
Distinct
(value % 2) == 0
 分岐条件をプログラマブルに実行
するのではなく、データの加工条
件を「宣言的」に記述します。
無限数列を Infinite()
変換し Select()
絞り込みを行い Where()
重複を除去し Distinct()
指定された個数だけ取り出し Take()
配列に変換する ToArray() … [r(count-1)]

 言うまでもなく、データ群を操作するならLINQによる集合演算がシ
ンプル・低い難易度・バグも生み難いです。
 「どうやって実装するか」ではなく、「どのような結果が必要か」
と考える事がカギです（この辺りは、SQLによるクエリの設計と同じ
です）。

アジェンダ
 列挙子とは
Persons
Person
Address
Address
Person Address

構造的な値への適用
 LINQが適用できるのは、「単純な数列」だけではありません。
 以下のようなクラスとその配列を考えます。
配列に変換
名前が一致する
Personを抽出
Personクラスの配列から、名前が一致する
Personだけを抽出し、配列として返す

 絞り込み条件には、任意の式を指定出来ます。
年齢の条件を追加
Personクラスの配列から、名前が一致し、かつ指定年齢以上
となるPersonだけを抽出し、配列として返す
AND条件だけでなく、もっと複雑な複合条件を
指定することも出来ます。
C#で記述可能な式なら何でもOK。

 ネストした構造に対しても、同じように記述出来ます。
指定された住所文字列を含む
Personの抽出
Contains演算子: 配列内に一致する
要素（文字列）があるかどうか
Person Person Person …
Address Address Address
住所群に住所文字列が含まれているかどうか
（ここが独立したLINQ式。サブクエリ風味）

 おっと、ちょっと違いますね。
 「AddressElements配列内に、指定された文字列と同一の文字列があるか」ではなく
 「AddressElements配列内に、指定された文字列を含むものがあるか」ですね。
配列群に住所文字列が
含まれているかどうか
Any演算子: どれかが満たされるかどうか
.Contains(address) .Contains(address) .Contains(address)
一つ一つは、string.Contains()

 構造の奥底にある値を、平坦化出来ます名前が一致する全住所文字列を抽出
そのままでは二重のシーケンス
となる所を、一重のシーケンス
に変換する
Address Address Address Address Address Address
SelectMany()

 質問：ここまでの例をループや分岐条件でサクッと書けますか？
 特に最後に挙げたSelectManyと同等の処理を、ルー
プと分岐条件で書くと、単純な結果に対して非常に
複雑な処理が必要になります。
List<T>を封じたら、多分面倒この上ないわね。
自分で考えてみて。

アジェンダ
 列挙子とは

初歩的な演算子
 とりあえず、以下の使い方を覚えましょう。
機能グループ演算子
射影（変換） Select
SelectMany
フィルター Where
Skip
Take
Distinct
ソート OrderBy / OrderByDescending
ThenBy / ThenByDescending
単項（即値） Any / All
Max / Min
Sum
Count
固定化 ToList / ToArray

初歩的な演算子（射影）
 とても多彩な射影（変換）
 Select演算子は、入力となる要素を、別の何かに変換します。物体に対する影
のように、形を変える様から「射影」と呼びます。
 例えば、intの値群を文字列群に変換するには、以下のようにSelectを使いま
す。
このラムダ式で、value
(intの値)を文字列に変換
する
全ての要素に対して
ラムダ式を実行
要素が代入される
引数

 Selectには、仮引数を2つ取るオーバーロードがあります。これを「イ
ンデックス付き射影」と呼びます。
2つ目の引数が、インデックスを表す。
要素の先頭を0とし、1…nのようにインクリメントされる。
要素の先頭からの位置を把握したい場合に使えます。

 射影（変換）
 SelectMany演算子は、特殊な射影変換です。射影対象の要素が「アンルー
プ」の対象となります。その結果、列挙が二重となる要素を「一重に展開」
します。
int[]
int[]
アンループされて、ただの配列に
二重の配列

 LINQには「メソッド構文」と「クエリ構文」という書き方があります。
 メソッド構文は、今まで例に挙げてきたような「Select」や「Where」
などのメソッドを使って直接記述する構文です。
 クエリ構文は、LINQ入門で良く扱われる「SQL」に似た単語で書ける
構文です。以下に例を示します。
何となく、SQLっぽい

構文特徴
メソッド構文全ての演算子を使用することが可能。
ブロック化されたラムダ式を使用することで、複雑な処理を射影やフィルターで実装
可能。
完全な記述が可能な反面、煩雑になりやすい。
クエリ構文 SQLに似た、フレンドリーな構文を使用可能。
式は暗黙にラムダ式として取り扱われるので、仮引数の宣言が不要で、式の記述がシ
ンプルになります。
ブロック化されたラムダ式を使う事は出来ないので、純粋に式として記述する必要が
あります。
サポートされる演算子は一部のみ（Select, SelectMany, Where, OrderBy, ThenBy, Join,
GroupBy）。また、コンパイラによって固定的に置き換えられる「構文糖」です。
SelectManyのネストした要素の引き渡しを暗黙裡に行えるため、SelectManyについて
非常に簡潔に記述できます。
let（範囲変数）を使用できる。メソッド構文ではいちいち匿名クラスに再代入が必要
だが、letを使うと簡単に値を持ってまわることが出来ます。
 メソッド構文とクエリ構文の比較個人的には、どちらが優れている
とは言えないと思います

 クエリ構文によるSelectManyの例を示します。
fromを多重に宣言することで、
SelectManyとして扱われる
もちろん、何多重になっても問題ありません。メソッド構文で同じ事を書こうと
すると、SelectManyをネストさせる事になり、ちょっとキツイです。
「たっぷり多重」の例: http://www.kekyo.net/2014/12/08/4441

 SelectManyの外側にある要素にも、簡単にアクセス可能
メソッド構文でSelectManyを使う場合、この式を解決す
るには、事前に別の要素に射影が必要で、かなり面倒
（クエリ構文なら、自然に書けて、あとはコンパイラが
勝手にやってくれる）

 範囲変数(let)を使うと、一時変数のように値の記憶に使えます。スコープ
は一反復内に限られ、readonly扱いなので、副作用の心配はありません。
 範囲変数も、射影の壁を乗り越える便利な道具です。
この式のコストが高い場合、結果を
保持して使いまわしたい
射影の壁
範囲変数も越えられる

初歩的な演算子（フィルター）
 Whereはフィルター条件に従って、要素を制限します。
フィルター条件をラムダ式で
与える

 Skipは指定された要素数だけ、飛ばします。
 Takeは指定された要素数だけ、取得します。
 この二つを組み合わせると、任意の位置から任意の個数の要素を抜
き出すことも出来ます。
Skip(start)
n0 n1 n2 n3 n4 n5 n6 n7 n8
n2 n3 n4 n5 n6 n7 n8
n2 n3 n4 n5 n6Take(count)

 Distinctは重複する要素値を削減します。
 考え方はSQLのDISTINCTと同じですが、「同一の値」の担保はEqualsメ
ソッドか、IEquatable<T>.Equalsか、IEqualityComparer<T>で行われます。
 Intやstringなどの基本的な型は、Equalsが正しい値を返すので、何も
考えなくてもDistinctだけで重複を除外出来ます。
 順序は安定です（LINQ to Object以外は実装依存）。
1 5 2 1 4 7 6 7 3
1 5 2 4 7 6 3
Distinct

初歩的な演算子（ソート）
 OrderByで要素をソートできます。
 ソート対象のキーを指定することも出来ます。
 キーはIComparable<T>やIComparer<T>を使用して、大小比較を実行し
ます。これらのインターフェイスも、基本的な型はサポートしてい
るので、キーとして自然に使用出来ます。
キーの指定
ここでは要素の値(int)そのものをキーとしている

 任意の構造を持つ配列でも、対象のキーを指定出来ます。
キーの指定
Person内のフィールドをキーとする

 逆順ソートも出来ます。
OrderByDescending演算子を使うと、
逆順でソートされる

 複数のキーを使って、複合ソートも出来ます。
ThenBy演算子を使うと、2番目以降のソートキーを追加できる。
OrderByDescendingやThenByDescendingと組み合わせる事も可能。
（ThenByやThenByDescendingはOrderByの後にのみ記述可能）

初歩的な演算子（単項）
 Anyは、要素が1つ以上存在するかどうかを確認します。
 Allは、全ての要素が条件に合致するかどうかを確認します。
 Countは、要素数をカウントします。
 存在確認にCountを使わない事。Anyで判断します。
Countを使うと総数を数える可能性があるので、
存在確認のためだけにはオーバーヘッドが大きい
Anyを使えば、要素が見つかった時点で
処理を終えるので効率が良い

初歩的な演算子（単項・即値）
 Max/Minは、最大・最小の要素を返します。IComparable<T>か、
IComparer<T>が必要です。
 Max/Minには、要素が必要です（要素数0の配列等に適用すると例外
が発生）
 Sumは、要素の合計を算出します。

初歩的な演算子（固定化）
 通常LINQクエリは、式が実際に実行されるまで処理が保留されます
（式の内容だけが記憶されている）。この事を「遅延評価」と呼び
ます。
 ToArray・ToListは、それぞれ配列とリストに変換します。しかし、配
列やリストに結果を入れるためには、要素群が「確定」しなければ
なりません。したがって、これらの演算子はその場で実行されます。
この時点ではまだフィルターは
実行されていない
（filteredは式そのものを示す）
配列に変換する過程で、初めて
filteredが実行される
AnyやCountなども、
その場で実行されます

実践的なforeachの置き換え
 一重ループの例
①for・foreach・whileなどのループ構文に注目し、
何を列挙しているのかを確認する。
「personsを列挙している」
②最終的に、何をするのかに注目する。
「listにpersonを追加（結果を保存）」
より的確に→「personのリストを生成」
より的確に→「personの配列を生成」
「何となく、一つに出来そうだ」

 一重ループの例
①に対応するもの（列挙対象）
②に対応するもの（結果の保存）

 LINQにおける、Producer-Consumerとは
①Producer（データ群の提供者）
②Consumer（データ群の消費者）

 LINQにおける、Producer-Consumerとは
最初に、「Consumer」に注目し、ここのコード量を減らしておく。
その後、Consumer以外のコードを、LINQクエリ内に持っていけるようにリファクタする。

 二重ループの例

 データが流れていく様を想像する

 ステップバイステップ (1/7)
配列っぽい何かを返すつもり
（何を返すかは、今から考えるよ）

何から？ persons から！

そうそう、personsを列挙するんだった

personの中身のAddressの中身が見たいんだっけ

列挙の条件は… ward文字列を含む、と

何が欲しいんだっけ…
そうそう、条件を満たした時のaddressだった

で、これらを配列にしたい、と。
完成!!

列挙子とは
 ずっと配列で例を示してきました
が、LINQの演算子は「列挙子」で
あれば、何でも対応できます。
 列挙子とは、「IEnumerable<T>イン
ターフェイス」の事です。
 このインターフェイスを実装して
いるクラスに対して、LINQ演算子
を適用することが出来ます。
 配列やList<T>クラスも、
IEnumerable<T>インターフェイスを
実装しているので、どちらも同じ
演算子を適用できるのです。

列挙子とは
 列挙子を受け取るように変更すれば、配列やList<T>やその他のコレク
ションなどを、柔軟に受け取る事が出来るようになります。
引数に配列ではなく、列挙子を
受け取るようにする
LINQクエリはそもそも列挙子に対して操作
するので、配列の時と全く変わらない

列挙子とは
 列挙子を受け取るように変更すれば、配列やList<T>やその他のコレク
ションなどを、柔軟に受け取る事が出来るようになります。
配列とList<T>、どちらも
受け取る事が出来る

列挙子とは
 実は、LINQクエリの結果は「列挙子」です。
LINQクエリ式は列挙子
（但し即値演算子を除く）
列挙子のConsumer
== IEnumerable<string>

列挙子とは
 列挙子同士を演算子で連結しているのです
Personを列挙するクエリ
stringを列挙するクエリ

列挙子とは
 動的LINQ（動的に条件が変わるLINQクエリの構築）は面倒、という話
がありますが、条件を限定すれば簡単に実現出来ます。
LINQクエリの型がどちらも
IEnumerable<T>である事を利用し
て、フラグで検索条件を変更する
完全に動的にLINQクエリを構築するのは、確かに大変です。ですが、殆どの場合はあらか
じめ変化させたいクエリの構造が分かっているはずなので、この手法で十分です。

列挙子とは
 列挙子同士は、バケツリレーのように要素を伝達します。
 だから、必要のない限りは余計なメモリを消費しません。
IEnumerable<T>
IEnumerable<T>
IEnumerable<U>
Where()
Select()
OrderBy()
OrderByの内部実装は、暗黙にデータをバッ
ファリングするため、メモリを消費します。

列挙子とは
 間にToListやToArrayを挟めば、デバッグ向けに演算子間のデータ群を
確認できます。
リストや配列も列挙子になるので、
そのまま再代入可能
デバッグ時には固定化したリストを
見る事が出来る

列挙子とは
 何故そのような話をするのかというと…
LINQクエリは、デバッガで直接結果
群を参照できません
結果ビューを展開すると見える場合もあります。し
かし、これはデバッガ上でLINQクエリを実行した
（列挙した）事になります。
環境によっては、結果ビューの展開が出来ない場合があります。そのような場合でも固定
化すれば問題なく参照出来るようになります。
注意：巨大な結果が得られる場合は、固定化すると当然メモリを消費します。
従って、デバッグ時にのみ固定化しましょう。

アジェンダ
 列挙子とは
λ

演算子を作る
 冒頭で当たり前のように「Infinity」という演算子を使いましたが、実
はこれはLINQ to Object標準ではありません。
 LINQでは、自分で演算子を作る拡張性もあります。
列挙子（IEnumerable<T>）を返す
yield returnで要素を一つ送出する
無限回繰り返す

演算子を作る
 yield returnは、普通のreturnとは違います。
 次段の演算が一つ要素を要求する度に、一旦メソッドから抜けるように動
作し、次の要求で再び処理を再開します。
Infinity<int>(0)
0
Select()
一個ずつ要求
ループ一回
だけ実行

演算子を作る
 リンクリストを辿ってみる
 列挙可能ではないものを、列挙出来るようにする方法
 列挙可能にすることで、データをLINQの世界に引きずり込む
リンクの先頭
次のリンクを指定
させるラムダ式列挙可能
ラムダ式を実行して、
次の要素を得る
拡張メソッド

演算子を作る
 例：WPFのビジュアルツリーを親方向に探索するような列挙子
DependencyObjectの親を
取得、なければnull
Window
[α]
[β]
[γ]
[δ]
[ε]
[ζ]
[η] TextBlockA
TextBlockB
今ココ
TextBlockA [ζ] [β] Window
GetVisualParents(textBlockA)

アジェンダ
 列挙子とは
その昔、クリスタルの魔力をわが手中に
せんとする陰謀が、
「これが最後」というタイトルと共に、
幾度となく繰り返された伝説があった…

LINQマスターヤマト
時
間
た
り
ね
ー
ぜ
っ
て
ー
た
り
ね
ー
！
！
！

次回予告
 クエリ構文との連携
 演算子の適用回数を減らすこと（クエリ構文のselectは自動的に削減
される）
 短縮演算子（WhereしてCountとか、AnyとかAllとか）
 複数の連続したWhere条件の合成
 Whereの適用方法の見直し（要素数の演算量の少ない絞り込み）
 並列化（AsParallelとTPL・Producer-Consumerモデルによる制限）
 制御構文への回帰とタイミング
 LINQ→制御構文は簡単だが、逆は難しい
 式木の使われ方
残予定だったけど、
続編にするので、
もっとネタ追加

お疲れ様でした！
 スライドはブログに掲載します。
http://www.kekyo.net/

Final LINQ Extensions

More Related Content

What's hot (20)

Similar to Final LINQ Extensions (20)

More from Kouji Matsui (20)

Final LINQ Extensions