SlideShare a Scribd company logo
市民共創による農作業支援技術開発
のためのモーションセンサを用いた
鍬動作の分析
一ノ瀬 修吾1, 白松 俊1, 大森 友子2
1名古屋工業大学 工学部 情報工学科
2Agriturismo大森家
市民共創プロジェクト
スーパーアグリ構想
名人の技を科学する
鍬動作分析
研究背景
市民共創プロジェクトのページ
市民共創プロジェクト
スーパーアグリ構想
名人の技を科学する
鍬動作分析
研究背景
 農作業熟練者と初心者の鍬動作の認識・蓄積
- 熟練者と初心者の鍬の使い方には違いがあるはず
- 熟練者の効率のいい体の動かし方を分析する
- 分析にはモーションキャプチャ(Kinect)などを使用する
 初心者に対して比較・指導するシステムの実装
- 蓄積した熟練者のデータから自動で初心者のデータと違いを
比較し指摘する
本研究の目的
システム構成図
熟練者の
平均的動作の生成
熟練者DB
熟練者の
平均的動作
熟練者の動作
を蓄積
初心者の
動作
比較と
アドバイス生成
鍬動作ビューア
鍬動作
Kinect
Wiiリモコン
鍬動作の認識
正規化
分割
比較のための計算
認識結果
鍬動作の比較
熟練者と初心者の鍬動作を比較するためには
データ同士の比較をしやすくする必要がある
参考文献[白鳥 05]をもとに
1. 空間的にそろえる
→対象が常に横を向くように座標を正規化
2. 時間的にそろえる
→取得した座標から得た速さの時系列データを
動作プリミティブに分割
白鳥貴亮 他: モーションキャプチャと音楽情報を用いた舞踊動作解析手法, 電子情報通信学会論文誌 D, 2005.
動作の分析手法
1. 座標の正規化
- Kinectから各関節の3次元座標を取得
Y軸
X軸
Z軸
(0, 0, 0)
動作の分析手法
1. 座標の正規化
- 座標の原点を腰に設定する
Y軸
X軸
Z軸 (0, 0, 0)
動作の分析手法
1. 座標の正規化
- 座標系を変換する
Y軸
X軸
90°回転
Z軸
動作の分析手法
1. 座標の正規化
動作の分析手法
2. 動作プリミティブの抽出
動作プリミティブとは
「人間の動きを短い単位時間に分けたときの動作要素とする」[佐藤 07]
本研究では鍬の動作として2パターンを想定
(1)「振り上げ」「振り下ろし」「引き」
振り上げた時に静止する場合
(2)「引き」「空中動作」
空中で静止せず動作が連続する場合
佐藤知正 他: 日常生活支援のための机上作業のモデル化およびその認識と支援軌道の生成, 日本ロボット学会誌, 2007.
動作の分析手法
2. 動作プリミティブの抽出
動作プリミティブとは
人間の動きを短い単位時間に分けたときの動作要素とする
本研究では鍬の動作として2パターンを想定
(1)「振り上げ」「振り下ろし」「引き」
振り上げた時に静止する場合
(2)「引き」「空中動作」
空中で静止せず空中動作が連続する場合
動作の分析手法
2. 動作プリミティブの抽出
- 取得した3次元座標から速度を求める
𝑓 𝑡
t
動作の分析手法
2. 動作プリミティブの抽出
- グラフを平滑化する
𝑔 t
t
動作の分析手法
2. 動作プリミティブの抽出
- 速度の極小値を求める
𝑔 𝑡
t
動作の分析手法
2. 動作プリミティブの抽出
- あらかじめ設定した閾値以下になる点で分割
𝑔 𝑡
t
閾値=0.8
動作の分析手法
2. 動作プリミティブの抽出
- あらかじめ設定した閾値以下になる点で分割
𝑔 𝑡
t
閾値=0.8
動作の分析手法
2. 動作プリミティブの抽出
- あらかじめ設定した閾値以下になる点で分割
𝑔 𝑡
t
「引き」「空中動作」
の場合
動作の分析手法
2. 動作プリミティブの抽出
- あらかじめ設定した閾値以下になる点で分割
𝑔 𝑡
t
「引き」「空中動作」
の場合
動作の分析手法
細かく分割
しすぎている
分割
できていない
問題点:上記の手法だけでは分割精度が十分とはいえない
解決策:自己相関関数により基本周波数を求めて分割精度を補う
Kinectの問題点
鍬を持った状態で誤認識をする場合がある
- 持っている鍬を手の延長として認識する
誤認識部分
加速度センサーによる計測
Wiiリモコンを使った鍬の先端の加速度の認識
- 周期性がみられるため精度向上に期待できる
初心者の鍬動作の蓄積
3/2-3/4 のインタラクション2017で発表
- 15人分の初心者の鍬動作のデータを認識した
- 床に対して鍬を振ったため土を入れたプランターを用意するなど工夫
が必要
熟練者の鍬動作の認識
実際の畑で熟練者のデータの計測を行った
- 本研究の動作プリミティブセット以外の動きもしていた
認識動作インタフェース
画像,速度,鍬先端の加速度,動作プリミティブ
を確認できる
認識動作インタフェース
第1回市民共創知研究会
対話セッションで応用について議論を行った
- 議論参加者…市民・大学・企業から7,8人程度
- 意見…農具IoT,脈波を使う,リズムとの関連など
考察
 認識した鍬動作について
- 鍬を手と誤認識する問題は腕の長さで補正することで改善でき
る可能性がある
- 基本周波数・Wiiリモコンからの加速度をもとに分割の精度を改
善できる可能性がある
- 本稿で認識し分割した動作以外にも鍬動作は存在する
農作業基本オントロジー[朱 17]が参考になる可能性がある
 データの蓄積について
- 十分な人数の熟練者の動作を蓄積し,これを名人のデータとし
て分析に使う
- 土の状態も鍬動作に影響を与える可能性がある
朱 他: 農作業基本オントロジーに基づく米の生産費統計調査の自動化. JSAI SIG-SWO-041-14, 2017.
 モーションキャプチャ(Kinect)を使って鍬動作を分析した
- 取得した座標を正規化して速さの時系列データを作成した
- 時系列データの極小値の閾値からデータを分割した
 Kinectの認識精度やデータの分割精度は完全ではない
-加速度センサーを使うなどで改善する可能性がある
-データの分割は基本周波数から改善する予定である
まとめと今後の課題
 認識精度・分割精度の改善
 データ蓄積時の環境の構築
 初心者の動作との比較手法の開発
 初心者に対してアドバイスするシステムの開発
今後の課題
まとめ

More Related Content

PPTX
ipsj全国大会発表スライド_水野
PPTX
2017ipsj全国大会発表スライド_池田
PPTX
プロジェクトマネージャのための機械学習工学入門
PDF
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
ODP
音声の認識と合成
PDF
【メタサーベイ】数式ドリブン教師あり学習
PPT
100614 構造方程式モデリング基本の「き」
PDF
SSII2019企画: 点群深層学習の研究動向
ipsj全国大会発表スライド_水野
2017ipsj全国大会発表スライド_池田
プロジェクトマネージャのための機械学習工学入門
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
音声の認識と合成
【メタサーベイ】数式ドリブン教師あり学習
100614 構造方程式モデリング基本の「き」
SSII2019企画: 点群深層学習の研究動向

What's hot (20)

PDF
20180424 orb slam
PPTX
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
PPTX
[DL輪読会]End-to-End Object Detection with Transformers
PDF
Anomaly detection 系の論文を一言でまとめた
PDF
単純ベイズ法による異常検知 #ml-professional
PDF
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
PDF
研究発表のためのプレゼンテーション技術
PPTX
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
PPTX
5分で分かる自己組織化マップ
PDF
機械学習システムのアーキテクチャアラカルト
PDF
CVIM#11 3. 最小化のための数値計算
PDF
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
PDF
三次元点群を取り扱うニューラルネットワークのサーベイ
PDF
SSII2019TS: プロジェクタ・カメラシステムが変わる! ~時間同期の制御で広がる応用~
PPTX
【DL輪読会】時系列予測 Transfomers の精度向上手法
PDF
機械学習モデルの判断根拠の説明
PDF
時系列分析による異常検知入門
PDF
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
PDF
顕著性マップの推定手法
PPTX
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
20180424 orb slam
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
[DL輪読会]End-to-End Object Detection with Transformers
Anomaly detection 系の論文を一言でまとめた
単純ベイズ法による異常検知 #ml-professional
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
研究発表のためのプレゼンテーション技術
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
5分で分かる自己組織化マップ
機械学習システムのアーキテクチャアラカルト
CVIM#11 3. 最小化のための数値計算
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
三次元点群を取り扱うニューラルネットワークのサーベイ
SSII2019TS: プロジェクタ・カメラシステムが変わる! ~時間同期の制御で広がる応用~
【DL輪読会】時系列予測 Transfomers の精度向上手法
機械学習モデルの判断根拠の説明
時系列分析による異常検知入門
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
顕著性マップの推定手法
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sou...
Ad

Viewers also liked (10)

PDF
Linked Open Data を用いた シビックテックプロジェクトの 透明性向上と協働促進
PDF
社会課題とその解決目標のLOD化による公共圏での協働促進サービス
PPTX
東海支部西田
PPTX
白松研卒論発表_渡辺
PPTX
東海大会発表 0927
PPTX
2017ipsj全国大会発表スライド_成瀬
PDF
徘徊高齢者捜索のための BLEビーコンの電波強度分布を用いた 位置推定手法
PPTX
東海支部成瀬2
PPTX
2017ipsj全国大会発表スライド_福本
PPTX
2017ipsj全国大会発表スライド_宮脇
Linked Open Data を用いた シビックテックプロジェクトの 透明性向上と協働促進
社会課題とその解決目標のLOD化による公共圏での協働促進サービス
東海支部西田
白松研卒論発表_渡辺
東海大会発表 0927
2017ipsj全国大会発表スライド_成瀬
徘徊高齢者捜索のための BLEビーコンの電波強度分布を用いた 位置推定手法
東海支部成瀬2
2017ipsj全国大会発表スライド_福本
2017ipsj全国大会発表スライド_宮脇
Ad

Similar to 2017ipsj全国大会発表スライド_一ノ瀬 (20)

PPTX
Kincetを用いた鍬動作の初心者と熟練者の比較分析手法の試作
PDF
スマートエスイーセミナー:機外学習応用システムパターンの例
PDF
人的資本経営のための地理情報インテリジェンス 作業パターン分析と心身状態把握に関する実証事例
PDF
MISO20200530
PDF
最適化の視点から見た人工知能とSENSY社でのリサーチャー育成の取り組み
PPTX
「実ロボットの運動生成」
PDF
異なる家具配置に対応可能なリアルタイム行動認識システム開発のためのデータ収集と分析
PDF
JAWSUG 20190620
PDF
OpenData_DataCurator_20140927
PDF
楽天のECにおけるAI技術の活用
PDF
分析・モニタリングのために作文活動を測定するシステムの設計
PDF
Dots deep learning部_20161221
PPTX
情報検索のためのユーザモデル
PDF
イノベーション創発に資する人工知能基盤技術の創出と統合化
PPTX
研究室説明@オリエンテーション2015
PPTX
Ml based detection of users anomaly activities (20th OWASP Night Tokyo, Japan...
PDF
WWN 20180526
PPTX
モノのセンサ化による行動センシング
PDF
自動チューニングとビックデータ:機械学習の適用の可能性
PPTX
卒論 プレゼン
Kincetを用いた鍬動作の初心者と熟練者の比較分析手法の試作
スマートエスイーセミナー:機外学習応用システムパターンの例
人的資本経営のための地理情報インテリジェンス 作業パターン分析と心身状態把握に関する実証事例
MISO20200530
最適化の視点から見た人工知能とSENSY社でのリサーチャー育成の取り組み
「実ロボットの運動生成」
異なる家具配置に対応可能なリアルタイム行動認識システム開発のためのデータ収集と分析
JAWSUG 20190620
OpenData_DataCurator_20140927
楽天のECにおけるAI技術の活用
分析・モニタリングのために作文活動を測定するシステムの設計
Dots deep learning部_20161221
情報検索のためのユーザモデル
イノベーション創発に資する人工知能基盤技術の創出と統合化
研究室説明@オリエンテーション2015
Ml based detection of users anomaly activities (20th OWASP Night Tokyo, Japan...
WWN 20180526
モノのセンサ化による行動センシング
自動チューニングとビックデータ:機械学習の適用の可能性
卒論 プレゼン

More from siramatu-lab (15)

PPTX
高出力BLEビーコンによる 認知症高齢者見守りのための 徘徊経路可視化機構の試作
PPTX
Web 議論の自動ファシリテーションのための事前知識を用いた質問生成手法
PPTX
Filtering out improper user accounts from twitter user accounts for discoveri...
PPTX
議題の関連情報推薦によるIBIS構造作成支援システムの試作
PPTX
Watanabe civictechforum
PPTX
Supporting System of Improvisational Ensemble Based on User's Motion Using Sm...
PPTX
Prototype System for Recommending Academic Subjects for Students' Self Design...
PPTX
Tag-based Approaches to Sharing Background Information regarding Social Probl...
PPTX
Improvisation Ensemble Support Systems for Music Beginners based on Body Mot...
PPTX
韻律情報による議論の場の空気推定手法の検討
PPTX
即興合奏時のコード進行をユーザがデザインする機構の検討
PPTX
BLEビーコンを所持する徘徊高齢者のいち推定結果可視化機構の試作
PPTX
議論参加者の脳波による議論の場の空気推定手法の検討
PPTX
視線と表情を用いた議論の場の空気の推定手法の検討
PPTX
Ikeda ica2017
高出力BLEビーコンによる 認知症高齢者見守りのための 徘徊経路可視化機構の試作
Web 議論の自動ファシリテーションのための事前知識を用いた質問生成手法
Filtering out improper user accounts from twitter user accounts for discoveri...
議題の関連情報推薦によるIBIS構造作成支援システムの試作
Watanabe civictechforum
Supporting System of Improvisational Ensemble Based on User's Motion Using Sm...
Prototype System for Recommending Academic Subjects for Students' Self Design...
Tag-based Approaches to Sharing Background Information regarding Social Probl...
Improvisation Ensemble Support Systems for Music Beginners based on Body Mot...
韻律情報による議論の場の空気推定手法の検討
即興合奏時のコード進行をユーザがデザインする機構の検討
BLEビーコンを所持する徘徊高齢者のいち推定結果可視化機構の試作
議論参加者の脳波による議論の場の空気推定手法の検討
視線と表情を用いた議論の場の空気の推定手法の検討
Ikeda ica2017

2017ipsj全国大会発表スライド_一ノ瀬

Editor's Notes

  • #3: 2016年秋に設立された市民共創知研究会がある 市民があつまって大学などと一緒に研究をすることを市民共創プロジェクトと呼んでいる その一つとして農業を科学するというコンセプトのもとに立ち上がった市民共創プロジェクトである「スーパーアグリ構想」がある 発案者である大森は農家民宿を訪れる都心からの学生は鍬や身体の使い方がわからないことが多いと指摘している そこで本研究では身体の使い方や農作業を指導するために,「名人の技を科学する」というアプローチから 鍬の名人と初心者のデータを蓄積,比較するために鍬動作を分析した.
  • #5: 発案者である共著者の大森は農家体験にくる学生や家庭菜園の初心者は鍬や身体の使い方がわからないことが多いと指摘している そこで本研究では身体の使い方や農作業を指導するために,「名人の技を科学する」というアプローチから 鍬の名人と初心者のデータを認識・蓄積,比較するために鍬動作を分析した.
  • #6: 本研究の目的をこのように設定しました まず… 本稿では主に認識・蓄積手法を試作しました
  • #8: カメラの角度,位置によって値が変化してしまう.初心者と熟練者の動作を比較するためには,常にカメラからの計測者の位置,角度を同じにしておかなければならない.そこで,腰の角度を基に座標を正規化することで,計測者がどの位置,角度にいても座標を比較できるようにする.
  • #9: 腰(-0.14268, 0.344177, 2.273122 ) 左手(-0.61132, 0.450768, 2.05937 )
  • #10: 腰(-0.14268, 0.344177, 2.273122 ) 左手(-0.61132, 0.450768, 2.05937 ) 腰原点左手(-0.46864, 0.106591 -0.213752) すべての座標を腰が原点になるように平行移動します
  • #11: P’’ =[ e_x^T , e_y^T , e_z^T ]P’^T
  • #13: 空中動作とは振り上げから振り下ろしを一挙に行う動作
  • #14: 空中動作とは振り上げから振り下ろしを一挙に行う動作
  • #15: 認識のブレのせいでギザギザで扱いにくい 滑らかにするため平滑化という作業を行う
  • #32: デバイスコネクトWebAPIを使ってHTTP GET リクエストで加速度を取得していた それではリアルタイムでデータがとれなかった WebSocketを用いると改善できる Web経由で計測しているので 加速度の取得には時差があり,精度も良くないので使うためには改善が必要