SlideShare a Scribd company logo
高精度音声検索のための
音声信号への最良照合キーワード
索引付け方式
1
筑波大学 システム情報学系 知能機能工学域
自然言語処理研究室(宇津呂研究室)
2
音声波形
音声は,計算機の中では,
音素の遷移を表した「音素遷移ネットワーク」で表現されている
計算機内部
音素遷移ネットワーク
3
音声波形
a
音素(読みの単位。ローマ字表記したもの)
計算機内部
音素遷移ネットワーク
音声は,計算機の中では,
音素の遷移を表した「音素遷移ネットワーク」で表現されている
4
音声波形
計算機内部
r
d
a
y
j
@
a
i
@
ai
e
N
@
m e sh
各箇所は音素のネットワークになっている
音声は,計算機の中では,
音素の遷移を表した「音素遷移ネットワーク」で表現されている
音素遷移ネットワーク
5
音声波形
計算機内部
k
r
@
r
ua
o
a
k
w
g
@
u
r
m
@
q
N
@
r
p
b
u
@
u
@
r
@
r
q
uu
e
a
@
各箇所は音素のネットワークになっている
音声は,計算機の中では,
音素の遷移を表した「音素遷移ネットワーク」で表現されている
音素遷移ネットワーク
6
音声波形
計算機内部
sh
h
i o
sh
t
各箇所は音素のネットワークになっている
音声は,計算機の中では,
音素の遷移を表した「音素遷移ネットワーク」で表現されている
音素遷移ネットワーク
7
音声波形
計算機内部
どこで何を喋っているのだろう・・・??
しかし,ネットワークのままでは
何を喋っているのかわからない
音声は,計算機の中では,
音素の遷移を表した「音素遷移ネットワーク」で表現されている
音素遷移ネットワーク
8
キャンプ
音声波形
音声中に現れそうなキーワードの集合を用意し,
ネットワークに貼り付ける(=索引付け)
計算機内部
話題から話されそうなキーワードを用意し,
ネットワークに貼り付けてみよう!!
クアラルンプール
首都
コアラキャンプ
・・・
キーワード集合
マレーシア 西マレーシア
音素遷移ネットワーク
9
k
r
@
r
ua
o
a
k
w
g
@
u
r
m
@
q
N
@
r
p
b
u
@
u
@
r
@
r
q
u
a
u
e
@
キーワードを音素列化し,音素遷移ネットワークと照合する
クアラルンプール
首都
コアラ
・・・
ky a N p u
音素列化
ky a N p u
@
ua
@
@
N
p
@
ピッタリ照合することができないため
照合歪(照合のずれ)が大きくなる
キャンプ 照合歪:0.343
マレーシア 西マレーシア
k
r
キャンプ
音素遷移ネットワーク
キーワード集合
10
k
r
@
r
ua
o
a
k
w
g
@
u
r
m
@
q
N
@
r
p
b
u
@
u
@
r
@
r
q
u
a
u
e
キーワードを音素列化し,音素遷移ネットワークと照合する
@
首都
コアラキャンプ
・・・
音素列化
ua
N
p
キャンプ 照合歪:0.343
「キャンプ」に比べて
照合歪が小さい
k u a r a r u N p u u r uk u a r a r u N p u u r u
r
@
a
k
u
r
@
クアラルンプール 照合歪:0.199
@
u
@
r
@
u
マレーシア 西マレーシア
クアラルンプール
音素遷移ネットワーク
キーワード集合
11
k
r
@
r
ua
o
a
k
w
g
@
u
r
m
@
q
N
@
r
p
b
u
@
u
@
r
@
r
q
u
a
u
e
キーワードを音素列化し,音素遷移ネットワークと照合する
@
クアラルンプール
首都
キャンプ
・・・
音素列化
u
N
キャンプ 照合歪:0.343
同様にすべてのキーワードを
照合してみる
@
u
r
@
クアラルンプール 照合歪:0.199
k o a r a
コアラ 照合歪:0.243
・
・
a
k
r
a
o
k o a r a
マレーシア 西マレーシア
k
r
コアラ
音素遷移ネットワーク
キーワード集合
12
クアラルンプール
首都
キャンプ
・・・マレーシア 西マレーシア
コアラ
k
r
@
r
ua
o
a
k
w
g
@
u
r
m
@
q
N
@
r
p
b
u
@
u
@
r
@
r
q
u
a
u
e
キーワードを音素列化し,音素遷移ネットワークと照合する
@
音素列化
a
キャンプ 照合歪:0.343
最も照合歪が小さいため,
貼り付けるキーワードとして採用!
k
クアラルンプール 照合歪:0.199
k o a r a
コアラ 照合歪:0.243
・
・
r
a
o
k o a r a
k
r
音素遷移ネットワーク
キーワード集合
13
音声波形
音素遷移ネットワーク全体にキーワードを貼り付ける
計算機内部
キーワードを貼り付けてみよう!!
「マレーシア・・・西マレーシア・・・クアラルンプール・・・首都・・・西マレーシア・・・」
と言ってるようだ・・・
音素遷移ネットワーク
西マレーシア 西マレーシア首都マレーシア クアラルンプール
キャンプ クアラルンプール
首都
コアラキャンプ
・・・マレーシア 西マレーシア
キーワード集合
14
音声波形
計算機内部
キーワードを貼り付けてみよう!!
西マレーシア 西マレーシア首都
(マレーシアは,西マレーシア,クアラルンプールという首都がある西マレーシアと,)
正解は・・・
音素遷移ネットワーク全体にキーワードを貼り付ける
マレーシア
音素遷移ネットワーク
「マレーシア・・・西マレーシア・・・クアラルンプール・・・首都・・・西マレーシア・・・」
クアラルンプール
キャンプ クアラルンプール
首都
コアラキャンプ
・・・マレーシア 西マレーシア
キーワード集合
15
キャンプ
音声波形
計算機内部
キーワードを貼り付けてみよう!!
クアラルンプール
首都
コアラキャンプ
・・・
そして,貼り付けられたキーワードの系列を検索することで,音声を検索できる
音素遷移ネットワーク全体にキーワードを貼り付ける
マレーシア 西マレーシア
音素遷移ネットワーク
キーワード集合
西マレーシア 西マレーシア首都マレーシア クアラルンプール

More Related Content

PPTX
韻律情報による議論の場の空気推定手法の検討
PPTX
MMIMPEsMBR
PDF
111228 speech organ_slides
PPTX
外国語としての音声言語理解とワーキングメモリ
PPTX
Gengo Africa
PDF
SocialDict @ 第3回SBM研究会
PDF
英語リスニング研究最前線:実験音声学からのアプローチ
PDF
破擦音生成時の解放に伴う破裂が摩擦音・破擦音識別に与える影響〜若年者と高齢者の比較〜
韻律情報による議論の場の空気推定手法の検討
MMIMPEsMBR
111228 speech organ_slides
外国語としての音声言語理解とワーキングメモリ
Gengo Africa
SocialDict @ 第3回SBM研究会
英語リスニング研究最前線:実験音声学からのアプローチ
破擦音生成時の解放に伴う破裂が摩擦音・破擦音識別に与える影響〜若年者と高齢者の比較〜

Viewers also liked (20)

PDF
日本語モーラの持続時間長: 単音節語提示による知覚実験(JSLS2015)
PDF
リスニング訓練法としての シャドーイングとリピーティング
PPTX
ニューラルネットワークによる音声の分類
PDF
Kameoka2012 talk07 1
PDF
HMMに基づく日本人英語音声合成における中学生徒の英語音声を用いた評価
PPTX
音声認識における言語モデル
ODP
音声生成の基礎と音声学
PPT
Automatic Speaker Recognition system using MFCC and VQ approach
PDF
z変換をやさしく教えて下さい (音響学入門ペディア)
PPTX
Unityで音声認識
PDF
やさしく音声分析法を学ぶ: ケプストラム分析とLPC分析
PDF
AV 画像認識とその周辺 - UT Startup Gym 講演資料
ODP
音声の認識と合成
PDF
13.2 隠れマルコフモデル
PDF
自称・世界一わかりやすい音声認識入門
PDF
Automatic Language Identification
PPTX
Speaker recognition using MFCC
PPTX
Phoneme and feature theory
PDF
Deep Learning For Speech Recognition
ODP
音声認識の基礎
日本語モーラの持続時間長: 単音節語提示による知覚実験(JSLS2015)
リスニング訓練法としての シャドーイングとリピーティング
ニューラルネットワークによる音声の分類
Kameoka2012 talk07 1
HMMに基づく日本人英語音声合成における中学生徒の英語音声を用いた評価
音声認識における言語モデル
音声生成の基礎と音声学
Automatic Speaker Recognition system using MFCC and VQ approach
z変換をやさしく教えて下さい (音響学入門ペディア)
Unityで音声認識
やさしく音声分析法を学ぶ: ケプストラム分析とLPC分析
AV 画像認識とその周辺 - UT Startup Gym 講演資料
音声の認識と合成
13.2 隠れマルコフモデル
自称・世界一わかりやすい音声認識入門
Automatic Language Identification
Speaker recognition using MFCC
Phoneme and feature theory
Deep Learning For Speech Recognition
音声認識の基礎
Ad

More from utsuro_lab (20)

PDF
ご当地グルメを題材とする4択クイズの生成
PDF
シナリオを情報源とする映画の要約
PDF
機械学習による球面リバーシ(オセロ)AIの開発
PPTX
各プレーヤー視点での役職確定情報に基づく人狼ログ・ダイジェストの作成
PDF
ウォーゲーム:StarCraftの戦略推薦
PDF
乳幼児の認知発達を誘発する売れ筋絵本を推薦する
PDF
社会センサーとしての検索エンジンを用いて市場シェアを予測しよう
PDF
球面リバーシ(オセロ)
PDF
ゲーム攻略サイトを網羅的に収集し、攻略情報を集約する
PDF
旅ゲー風アプリ・コンテンツを自動構築する
PDF
ゲームのレビューから収集した意見の集約
PDF
ウェブ検索者の情報要求観点の集約と俯瞰に関する研究
PDF
「みんなが調べた」のに「Wikipediaには書いてない」ことを集約・俯瞰する
PDF
検索エンジン・エンハンスト・サジェスト・・・サジェストを補足する
PDF
音声を検索するための索引付け方式の紹介(専門家向け)
PDF
ニュース・ツイッター間の対応を考慮したバースト・トピックの同定
PDF
大規模ブロガー空間からブロガーを収集し、ブロガー・コミュニティを自動生成・自動拡張する
PDF
時系列トピックのバーストを同定するシステムの紹介 (初心者向け)
PDF
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
PDF
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
ご当地グルメを題材とする4択クイズの生成
シナリオを情報源とする映画の要約
機械学習による球面リバーシ(オセロ)AIの開発
各プレーヤー視点での役職確定情報に基づく人狼ログ・ダイジェストの作成
ウォーゲーム:StarCraftの戦略推薦
乳幼児の認知発達を誘発する売れ筋絵本を推薦する
社会センサーとしての検索エンジンを用いて市場シェアを予測しよう
球面リバーシ(オセロ)
ゲーム攻略サイトを網羅的に収集し、攻略情報を集約する
旅ゲー風アプリ・コンテンツを自動構築する
ゲームのレビューから収集した意見の集約
ウェブ検索者の情報要求観点の集約と俯瞰に関する研究
「みんなが調べた」のに「Wikipediaには書いてない」ことを集約・俯瞰する
検索エンジン・エンハンスト・サジェスト・・・サジェストを補足する
音声を検索するための索引付け方式の紹介(専門家向け)
ニュース・ツイッター間の対応を考慮したバースト・トピックの同定
大規模ブロガー空間からブロガーを収集し、ブロガー・コミュニティを自動生成・自動拡張する
時系列トピックのバーストを同定するシステムの紹介 (初心者向け)
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
大規模ブロガー空間において、関心事項ごとのコミュニティを発見する
Ad

音声を検索するための索引付け方式の紹介(初心者向け)