![インデックス追加・更新 /indexes/<indexname> PUT
インデックス一覧表示 /indexes GET
インデックス統計情報取得 /indexes/<indexname>/stats GET
インデックスの削除 /indexes/<indexname> DELETE
ドキュメント追加・削除 /indexes/<indexname>/docs/index POST
検索 /indexes/<indexname>/docs GET
ドキュメントlookup /indexes/<indexname>/docs/<key> GET
ドキュメント数取得 /indexes/<indexname>/docs/$count GET
サジェスション /indexes/<indexname>/docs/suggest GET
https://<アカウント名>.search.windows.net
{
"@odata.context":
"https://yoichikademo0.search.windows.ne
t/indexes('messages')/$metadata#Collecti
on(Microsoft.Azure.Search.V2015_02_28_Pr
eview.IndexResult)",
"value": [
{ "errorMessage": null, "key": "1",
"status": true, "statusCode": 201 },
{ "errorMessage": null, "key": "2",
"status": true, "statusCode": 201 },
{ "errorMessage": null, "key": "3",
"status": true, "statusCode": 201 }
]
}](https://image.slidesharecdn.com/dev-018azuresearchdeepdive-171222082808/85/DEV-018_Azure-Search-Deep-Dive-11-320.jpg)
![スコアリング関数設定
filterableなフィールドに対して関数による
ブースト設定が可能
"scoringProfiles": [
{
"name": “genreProfile",
"text": {
"weights": {
"albumTitle": 1.5,
"genre": 5
}
“functions": [ … ]
},
{
"name": “lastupdateProfile,
"functions": [ {
"type": "freshness",
"fieldName": "lastUpdated",
"boost": 2,
"interpolation": "quadratic",
"freshness": {
"boostingDuration": "P365D"
}
}
]
} ],
関数の種類 ブースト基準
freshness 鮮度
magnitude 数値、その範囲
distance 距離
tag タグ
グラフ補間 (interpolation)](https://image.slidesharecdn.com/dev-018azuresearchdeepdive-171222082808/85/DEV-018_Azure-Search-Deep-Dive-31-320.jpg)
DEV-018_Azure Search Deep Dive ～検索エクスペリエンス向上のためのノウハウ徹底解説～
- 1. ROOM J
- 2. 検索機能は、数多くのアプリケーションでユーザーの主要な操作手法として活用されており、特に全文検索機能には大 きな期待が寄せられています。ユーザーは、普段から Web 検索エンジン、高度な e コマース Web サイト、関連性の高 い検索結果を提供するソーシャル アプリケーション、入力時の検索候補、ファセット ナビゲーション、強調表示などのさま ざまな機能を、ほぼタイム ラグなしで使用しています。 マイクロソフトは Azure Search の開発にあたって、検索に 関する専門的な知識のない開発者でも優れた検索エクス ペリエンスをアプリケーションに組み込むことができるようにし たいと考えました。 強固な検索エクスペリエンスの実現は、テキスト分析やランキングの処理が必要な情報取得用フロントエンドや、スケー ラビリティや信頼性を管理する必要のある配信システムのフロントエンドのいずれにおいても課題となります。そこで、サー ビスとしての検索機能を提供することで、これらの課題を自然な形で解決し、開発者がアプリケーションの構築に集中で きるようにすることを目指しました。
- 4. 1. 圧倒的な速度で 2. 高い精度の検索結果を 3. 関連性が高いもの順に 全文検索エンジンである理由 取得することができます
- 5. とにかく爆速。 転置インデックス ： トークンからドキュメントを引き当てるデータ構造 テキスト解析 インデクシング Doc# ドキュメント内容 1 Microsoft is introducing SQL Server 2 Windows Server on Azure 3 Microsoft is introducing Azure 4 Application programming on Microsoft Azure 単語（トークン） 含まれるドキュメント microsoft 1, 3, 4 introducing 1, 3 sql 1 server 1, 2 Windows 2 azure 2, 3, 4 application 4 programming 4
- 6. 精度が高い 「キング」 ⇒ 「バーガーキング」 「ライオンキング」 「Azureでのセキュアネットワーキング」 「京都」⇒ 「東京都庁」 「京都観光」 「ダイアモンド」 ⇒「ダイヤモンド」もヒット • 語幹変化 • 見出し語変化 • 同義語展開 • 正規化 • ストップワード除去 • アンチフレージング • スペルチェック • クエリサジェスト • ファセット 検索精度向上のための主要技術・ソリューション • N-gram • 形態素解析
- 7. ORDER BYではなく関連性（ランキング）によるソート • クエリとドキュメントの関連性を 評価して結果を並べる • データベースのORDER BY句に よる結果ソートとは全く異なる 評価手法
- 11. インデックス追加・更新 /indexes/<indexname> PUT インデックス一覧表示 /indexes GET インデックス統計情報取得 /indexes/<indexname>/stats GET インデックスの削除 /indexes/<indexname> DELETE ドキュメント追加・削除 /indexes/<indexname>/docs/index POST 検索 /indexes/<indexname>/docs GET ドキュメントlookup /indexes/<indexname>/docs/<key> GET ドキュメント数取得 /indexes/<indexname>/docs/$count GET サジェスション /indexes/<indexname>/docs/suggest GET https://<アカウント名>.search.windows.net { "@odata.context": "https://yoichikademo0.search.windows.ne t/indexes('messages')/$metadata#Collecti on(Microsoft.Azure.Search.V2015_02_28_Pr eview.IndexResult)", "value": [ { "errorMessage": null, "key": "1", "status": true, "statusCode": 201 }, { "errorMessage": null, "key": "2", "status": true, "statusCode": 201 }, { "errorMessage": null, "key": "3", "status": true, "statusCode": 201 } ] }
- 13. /indexes/myindex/docs facet color facet size facet price search
- 14. 自分の位置から5キロ以内のドキュメントを検索 /indexes/myindex/docs?... &search=engineer &$filter=geo.distance(loc,'P OINT(-127.21 42)') lt 5 自分の位置からの距離順にソートする /indexes/myindex/docs?... &search=engineer &$orderby=geo.distance(loc,g eography'POINT(-127.21 42)')
- 16. { "time": "2016-05-07T09:15:24.3901416Z", "resourceId": "/SUBSCRIPTIONS/87C7C7F9-0C9F-47D1- A856-1305A0CBFD7A/RESOURCEGROUPS/RG-SEARCH- DEMO/PROVIDERS/MICROSOFT.SEARCH/SEARCHSERVICES/YOICHIKADE MO0", "operationName": "Query.Search", "operationVersion": "2015-02-28", "category": "OperationLogs", "resultType": "Success", "resultSignature": 200, "durationMS": 41, "properties": { "Description" : "GET /indexes('decodesessions2016')/docs" , "Query" : "?$top=12&$select=id,title,url,thumbnail,description&api- version=2015-02-28&search=Azure" , "Documents" : 12, "IndexName" : "decodesessions2016" } } { "resourceId": "/SUBSCRIPTIONS/87C7C7F9-0C9F-47D1-A856- 1305A0CBFD7A/RESOURCEGROUPS/RG-SEARCH- DEMO/PROVIDERS/MICROSOFT.SEARCH/SEARCHSERVICES/YOICHIKADEMO0" , "metricName": "SearchQueriesPerSecond", "time": "2016-05-13T13:14:00Z", "average": 0.05, "minimum": 0, "maximum": 2, "total": 3, "count": 60, "timeGrain": "PT1M" } 収集された検索オペレーション・メトリックスログ はPower BI連携により簡単に可視化が可能
- 20. • インデクシング処理時とクエリ処理時実行されるテキスト解析処理 • フィールド単位で設定可能 • カスタムアナライザで独自アナライザの定義が可能 <b>Azure Search</b> allows you to easily add a robust search experience インデックス処理 クエリ処理
- 21. 文字フィルタ ( Char Filters ) トークナイズ処理の前、文字レベルの加工処理 １アナライザ に０個以上の 文字フィルタを定義可能 トークナイザ ( Tokenizer ) 文字列をトークン（単語）に分かち書き方法を定義 １アナライザ に１つのトークナイザを設定可能 トークンフィルタ ( Token Filters ) トークナイズ処理後、トークンに対して加工処理を提供 １アナライザ に０個以上の トークンフィルタを定義可能
- 30. Term Frequency Inverse Document Frequency 単語の出現頻度 単語の特徴度（レア度） https://ja.wikipedia.or g/wiki/Tf-idf
- 31. スコアリング関数設定 filterableなフィールドに対して関数による ブースト設定が可能 "scoringProfiles": [ { "name": “genreProfile", "text": { "weights": { "albumTitle": 1.5, "genre": 5 } “functions": [ … ] }, { "name": “lastupdateProfile, "functions": [ { "type": "freshness", "fieldName": "lastUpdated", "boost": 2, "interpolation": "quadratic", "freshness": { "boostingDuration": "P365D" } } ] } ], 関数の種類 ブースト基準 freshness 鮮度 magnitude 数値、その範囲 distance 距離 tag タグ グラフ補間 (interpolation)
- 32. Title=“Azure Search Deep Dive” Description = Many applications use search as the primary interaction …Microsoft … LastUpdate= 2016-04-28 Rating = 5 /indexes/myindex/docs? search= Azure%20Search & scoringProfile=myScoreProfile ドキュメント Σ TF-IDFベース のスコア算出 TAG ブースト Distance ブースト freshness ブースト Magnitude ブースト スコア値算出 +0.3 0 +0.2 +0.2 +0.5 functionAggregation= sum (default) | average | minimum | maximum | firstMatching プロファイル関数によるブースト値の集約 方法はfunctionAggregationで決定 スコアリング関数 規ス定コアリング
- 36. Azure Media Indexer • 自然言語処理(NLP)や音声認識エンジンを駆使して ビデオコンテンツより字幕用データ（時間やテキスト） や検索可能にするためのメタデータを抽出する • 膨大なコンテンツライブラリーカタログ • 事例: The Washington Post, NASA/JPL, など
- 41. PID890, Halo 3, Xbox 360 Games USERID-35, PID890, 2014/12/31T20:21:26, Purchase uatalog.csv uatalog.csv usage1.csv catalog.csv Recommendations Engine トレーニングされた レコメンデーション モデル レコメンデーションエンジン Cognitive Service 商品カタログ 購入履歴
- 44. Y A X B
- 45. アンケートにご協力ください。 ●アンケートに 上記の Session ID のブレイクアウトセッションに チェックを入れて下さい。 ●アンケートはお帰りの際に、受付でご提出ください。 マイクロソフトスペシャルグッズと引換えさせていただきます。
- 46. ROOM J Ask the Speaker のご案内 ●本セッションの詳細は、EXPO 会場内 『Ask the Speaker』コーナー Room A カウンタにてご説明させて いただきます。是非、お立ち寄りください。 Ask the Speaker EXPO会場MAP