Copyright © Tokyo Electron Device LTD. All Rights Reserved.
物流・社会インフラWG 活動内容のご紹介
Live Video Analytics は
「カメラ+AI」ソリューション開発をどう変える?
クラウドIoTカンパニー エンベデッドソリューション部
Microsoft MVP for Microsoft Azure
茂出木 裕也
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 2
自己紹介
• 組み込み機器のファームウェア(BIOS)開発のプログラマー職を経て、
2007年に東京エレクトロンデバイスに入社
• 以後、約9年間は Microsoft社の組み込みOS(Windows Embedded)製品を担当
• 2016年4月より、 Microsoft Azureを中心とした IoT やクラウドソリューションを担当
Microsoft MVP for Microsoft Azure
Copyright © Tokyo Electron Device LTD. All Rights Reserved.
物流・社会インフラWG これまでの活動
産業別ワーキンググループでMicrosoft AzureをベースにしたIoTの利用シナリオを共同検証
ビジネスWG 分析WG 製造WG 物流・社会WG
ヘルスケアWG Pepper WG ドローンWG xR WG
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 5
物流・社会インフラWG紹介
イベント 畜産 輸送・交通
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 6
【取り組み事例】 養豚で機械学習を活用した出荷予測の検証
物流・社会インフラWGで、養豚の出荷予測の検証プロジェクトを実施
養豚の出荷に要する日数や頭数は、飼育担当者が
経験に基づいて判断(属人性が高い)
出産から出荷までの日数を、過去10年分の出荷データ
や天候などの外部データを用いた Azure Machine
Learningで推測
実績と比べて1週間程度の誤差で機械学習による予測
ができることを検証し実証
属人性から一般化への、一定の成果を得た
Copyright © Tokyo Electron Device LTD. All Rights Reserved.
物流・社会インフラWG 新しいテーマ
Live Video Analytics (LVA)
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 8
Live Video Analytics on IoT Edge
https://docs.microsoft.com/ja-jp/azure/media-services/live-video-analytics-edge/overview
エッジデバイスでビデオを分析し、結果をAzureのクラウドサービスやビジネスアプリケーションと連携
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 9
物流・社会インフラWG での取り組み
⚫まずは技術検証 (LVAで何ができる?)
1. エッジデバイスは仮想マシン(VM)で構築+サンプルの動画と
AIモデルを利用
2. 物理デバイス(エッジPC)とUSBカメラを利用
⚫LVAを「やってみた」結果を皆様と共有
⚫WGで活用シナリオやアイデア出し (どう活用できそう?)
⚫[募集] 現場・フィールドでの実証実験
Copyright © Tokyo Electron Device LTD. All Rights Reserved.
技術検証1.
LVA サンプル・チュートリアル
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 11
技術検証1. LVA サンプル・チュートリアル
⚫ エッジデバイス: Azure Linux VM (Ubuntu 18.04-LTS) + IoT Edge Runtime
⚫ カメラ: 無し (サンプル動画)
⚫ AIモデル: YOLO v3 (サンプルモデル)
⚫ アプリケーション: IoT Central テンプレート (サンプルアプリ)
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 12
Live Video Analytics で推論モデルを使用する
https://docs.microsoft.com/ja-jp/azure/media-services/live-video-analytics-edge/media-graph-
extension-concept#use-your-inferencing-model-with-live-video-analytics
独自のAI(推論モデル)でビデオを分析 ※サンプルだと、映像からバスやトラックのオブジェクトを検出するAIモデル
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 13
ビデオ分析 – 物体とモーション検出アプリケーションのアーキテクチャ
https://docs.microsoft.com/ja-jp/azure/iot-central/retail/architecture-video-analytics
Azure IoT Central (SaaS) では、物体やモーションを検出するテンプレートが提供
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 14
Live Video Analytics で何ができる?(サンプル動画)
物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ+AI」ソリューション開発をどう変える?
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 16
Webアプリ(IoT Central のダッシュボード)で分析した結果を可視化
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 17
オブジェクト検出時の映像はAzure Storage(BLOB)に記録される
AMP viewer (Azure Media Player) で再生可能
https://github.com/Azure/live-video-
analytics/tree/master/utilities/amp-viewer
Copyright © Tokyo Electron Device LTD. All Rights Reserved.
技術検証2.
物理デバイス(EdgePC+Camera)
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 19
検証2. 物理デバイス+物理カメラ (USBカメラがあれば大丈夫!)
【Edge PC】
CPU: Core i5
RAM: 8GB
OS: Ubuntu 18.04
+ IoT Edge Runtime
【Camera】
Logicool C920
USB接続
https://github.com/Azure/live-video-
analytics/tree/master/utilities/USB-to-RTSP
USBカメラの映像をRTSP (Real Time Streaming Protocol) の
ストリームに変換するコンテナー
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 20
Tips: USB-to-RTSP でUSBカメラをRTSPで利用する
【usb-to-rtsp コンテナの実行】
sudo docker run --name usb-to-rtsp --device=/dev/video0 --env VIDEO_PIPELINE="v4l2src device=/dev/video0 !
videoconvert ! videoscale! video/x-raw ! x264enc tune=zerolatency ! rtph264pay name=pay0" -p 554:8554 -d -i usb-to-rtsp:v1
⚫ デフォルトのストリームポートは 8554 → コンテナーからのRTSPストリームをエッジPC(Ubuntu)のポート 554 にマッピング
⚫ rtsp://{エッジPCのIPアドレス}:554/stream1 で、エッジPCに接続されたUSBカメラ映像を取得できるようになる
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 21
サンプルのAIモデル(YOLO v3)で検出可能なオブジェクトは?
https://github.com/Azure/live-video-
analytics/blob/master/utilities/video-analysis/yolov3-onnx/tags.txt
80種類のオブジェクトを認識
bus
train
truck
boat
traffic light
fire hydrant
stop sign
parking meter
bench
bird
cat
dog
…etc
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 22
サンプルのAIモデル(YOLO v3)で検出可能なオブジェクトを切り替える
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 23
サンプルのAIモデル(YOLO v3)で検出可能なオブジェクトを切り替える
Copyright © Tokyo Electron Device LTD. All Rights Reserved.
カメラ映像から交通量調査(おもちゃ)
物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ+AI」ソリューション開発をどう変える?
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 26
IoT Central で「車」と「トラック」を検出
物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ+AI」ソリューション開発をどう変える?
物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ+AI」ソリューション開発をどう変える?
物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ+AI」ソリューション開発をどう変える?
物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ+AI」ソリューション開発をどう変える?
物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ+AI」ソリューション開発をどう変える?
Copyright © Tokyo Electron Device LTD. All Rights Reserved.
LVA 何に使えそう?活用シナリオ例
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 33
低湿保管庫の監視 (共創ラボ 2019年3月に実施)
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 34
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 35
当時の構成(7セグ数字読み取り→湿度の変化を可視化)
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 36
当時の構成にLVAを加えると?
・保管庫自体を監視するカメラを設置
・センサーでドアの開閉をトリガーにして
カメラ映像を数値の変化を関連付け
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 37
WGでの活用アイデア
目的・用途 収集データ アウトプット内容
オフィス・食堂での密チェック(行列チェック) 一定の空間の人数 ・PowerBIで可視化
・一定数以上の人数がカウントされた場合はアラート
オフィスのマスクの着用状況のチェック 一定の空間の人物検出及びマス
ク検出
・マスク着用率を可視化して一定数以下はアラート
コールセンター等の出勤確認(PCの前に人が座っているかの確認) PCでのカメラを自動取得?
オンラインMTG時の社員の顔画像で感情分析 顔画像 ・FACE APIで感情分析、感情の起伏を可視化
オンライン試験での監視員 受験者に動きがあった前後20秒
をあとから確認する
卓球の試合でカメラで自動的に判定
相撲の勝敗判定/あっちむいてホイの勝敗判定
iPad等で手で動作するものに対して、ジェスチャー非接触でコマンドを入力できる。
カメラでライブで顔認証して認証した人の動作で入力する
決められた標準手順を実行した時に人によってサイクルタイムが変わる
一つの作業のサイクルタイムが大きく変わるとアラートを出すような感じる。
生産管理のところでも使えるかもしれない。
LVAじゃないと実現できない事って?
LVAがあるからこそ、「カメラ+AI」のアイデアを形にするまでの時間・工数を削減できる
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 38
New: EFLOW (Azure IoT Edge for Linux on Windows) 対応
Windows OS 搭載の
エッジデバイスでも活用できる!
Copyright © Tokyo Electron Device LTD. All Rights Reserved.
Live Video Analytics (LVA)
これから始める方へ
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 40
Github: live-video-analytics
https://github.com/Azure/live-video-analytics
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 41
Media Services と IoT Central
https://docs.microsoft.com/ja-jp/azure/iot-
central/retail/architecture-video-analytics
https://docs.microsoft.com/ja-jp/azure/media-
services/live-video-analytics-edge/overview
Media Services: LVAの仕組みを理解する IoT Central: 簡単に使えるテンプレートでLVAを体験する
IoT Edge、IoT Central、AMS(Azure Media Services)、Digital Twins…様々なスキルが必要
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 42
クイックスタート・チュートリアル
https://docs.microsoft.com/ja-jp/azure/media-
services/live-video-analytics-edge/get-started-detect-
motion-emit-events-quickstart
https://docs.microsoft.com/ja-jp/azure/iot-
central/retail/tutorial-video-analytics-deploy
Media Services: LVAの仕組みを理解する IoT Central: 簡単に使えるテンプレートでLVAを体験する
Copyright © Tokyo Electron Device LTD. All Rights Reserved.
物流・社会インフラWG
「共創」のご案内
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 44
一緒に「共創」しませんか?
⚫カメラを設置してやってみたい事がある!(ユーザー企業様)
⚫LVAで一緒にやってみたい事がある!(パートナー企業様)
⚫AIモデルの作成が得意、クラウドアプリ開発が得意・・・などなど
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 45
クラウドIoTカンパニー エンベデッドソリューション部
URL:https://esg.teldevice.co.jp/iot/azure/
TEL: 045-443-4021

More Related Content

PDF
オープニング
PDF
Azure上のIoT Solution、WeDXのご紹介
PPTX
【第20回】オープニング
PDF
IoT 導入を簡単に実現する“つなぐ”技術 ​~デンソーウェーブの IoT製品と Microsoft Azure 連携~
PDF
IoTビジネス共創ラボ 第15回勉強会 オープニング
PDF
IoTビジネス共創ラボ 第16回オンライン勉強会 オープニング
PDF
Microsoft Build 2020: Azure IoT 関連最新情報
PDF
Azureを活用した未来型無人化店舗(AI STORE LAB)への挑戦
オープニング
Azure上のIoT Solution、WeDXのご紹介
【第20回】オープニング
IoT 導入を簡単に実現する“つなぐ”技術 ​~デンソーウェーブの IoT製品と Microsoft Azure 連携~
IoTビジネス共創ラボ 第15回勉強会 オープニング
IoTビジネス共創ラボ 第16回オンライン勉強会 オープニング
Microsoft Build 2020: Azure IoT 関連最新情報
Azureを活用した未来型無人化店舗(AI STORE LAB)への挑戦

What's hot (20)

PDF
Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )
PDF
オープニング
PPTX
Power biで気づく!現場機器の異常監視システム on azure
PDF
Microsoft in Action! - COVID19への取り組み、これから皆様とできること。
PDF
ゼロトラスト セキュリティ モデル を IoT に - Microsoft の考える IoT セキュリティ -
PPTX
オープニング
PDF
IoT のシナリオを変える Azure SQL Edge
PDF
オープニング
PDF
Azure Perceptでかんたん実現! 移動ロボット&エッジAIによる設備点検
PDF
20160310_9_分析WG
PDF
Azure IoT Edge入門
PDF
医療器・医薬品の保管・配送環境管理をMicrosoft Azureで包括管理 ー冨木医療機器様へのご採用事例紹介ー
PDF
Data × AI でどんな業務が改善できる? ​製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
PPTX
IoT開発を支える技術の今とこれから
PPTX
メタバースの始め方、たとえば製造業でのデジタルツインとは?
PDF
Azure IoT HubとIoT Edgeを活用した "三密対策"ソリューション「comieru LIVE」の開発プロジェクトへの道のり
PDF
オープニング
PDF
製造業のDX最新動向、 ハノーバーメッセでマイクロソフトが伝えたこと。
PPTX
試してGOTTEN READY! Azure Sphere
PDF
Smart Building Reference Architectureのご紹介
Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )
オープニング
Power biで気づく!現場機器の異常監視システム on azure
Microsoft in Action! - COVID19への取り組み、これから皆様とできること。
ゼロトラスト セキュリティ モデル を IoT に - Microsoft の考える IoT セキュリティ -
オープニング
IoT のシナリオを変える Azure SQL Edge
オープニング
Azure Perceptでかんたん実現! 移動ロボット&エッジAIによる設備点検
20160310_9_分析WG
Azure IoT Edge入門
医療器・医薬品の保管・配送環境管理をMicrosoft Azureで包括管理 ー冨木医療機器様へのご採用事例紹介ー
Data × AI でどんな業務が改善できる? ​製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
IoT開発を支える技術の今とこれから
メタバースの始め方、たとえば製造業でのデジタルツインとは?
Azure IoT HubとIoT Edgeを活用した "三密対策"ソリューション「comieru LIVE」の開発プロジェクトへの道のり
オープニング
製造業のDX最新動向、 ハノーバーメッセでマイクロソフトが伝えたこと。
試してGOTTEN READY! Azure Sphere
Smart Building Reference Architectureのご紹介
Ad

Similar to 物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ+AI」ソリューション開発をどう変える? (20)

PDF
Azure IoT Edge - ALGYAN Dec 2022.pdf
PDF
Azure IoT 最前線!~ Microsoft Ignite 2019での発表と直近アップデート総まとめ ~
PDF
20180119_5_IoT Update_20180119
PDF
WeDX Flow Hands-on
PPTX
フューチャースタンダードCTO鈴木登壇 レバレジーズ「ヒカ☆ラボ」動画解析・IoT実践事例 (Jul. 4th, 2017)
PPTX
フューチャースタンダードCEO鳥海登壇 【 第103回InfoTalk 】「IoTと画像処理で未来のフツウをつくる」講演資料 (Jul. 21st, 2017)
PDF
Azure IoT/AI最前線
PDF
製造業向けSmart Factoryデモと 関連AWSサービスのご紹介
PDF
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)
PDF
Open IoT platforms for Smart Services (Japanese)
PDF
先進事例に見るIoT活用の事始め~データサイエンスの観点から~
PDF
Azure Video Analyzer IoT活用セミナー - 概要
PDF
【19-D-6】あなたを30分で IoT ready なエンジニアにします! ~IoT プラットフォーム ThingWorx, AR(拡張現実)向けプラッ...
PDF
[Japan Tech summit 2017] MAI 006
PDF
ゼロから学ぶIoT
PDF
JAWS DAYS 2022
PDF
海外先進IoT事例を材料に、日本のIoTビジネスを共に創ろう!(再) _IoTビジネス共創ラボ 第10回 勉強会
PDF
Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)
PDF
IoTとは何?
PDF
AWS初心者向けWebinar AWSではじめよう、IoTシステム構築(リピート開催用)
Azure IoT Edge - ALGYAN Dec 2022.pdf
Azure IoT 最前線!~ Microsoft Ignite 2019での発表と直近アップデート総まとめ ~
20180119_5_IoT Update_20180119
WeDX Flow Hands-on
フューチャースタンダードCTO鈴木登壇 レバレジーズ「ヒカ☆ラボ」動画解析・IoT実践事例 (Jul. 4th, 2017)
フューチャースタンダードCEO鳥海登壇 【 第103回InfoTalk 】「IoTと画像処理で未来のフツウをつくる」講演資料 (Jul. 21st, 2017)
Azure IoT/AI最前線
製造業向けSmart Factoryデモと 関連AWSサービスのご紹介
B3スタートアップ コンピュータビジョンの現在と未来にやるべきこと(東京電機大学講演)
Open IoT platforms for Smart Services (Japanese)
先進事例に見るIoT活用の事始め~データサイエンスの観点から~
Azure Video Analyzer IoT活用セミナー - 概要
【19-D-6】あなたを30分で IoT ready なエンジニアにします! ~IoT プラットフォーム ThingWorx, AR(拡張現実)向けプラッ...
[Japan Tech summit 2017] MAI 006
ゼロから学ぶIoT
JAWS DAYS 2022
海外先進IoT事例を材料に、日本のIoTビジネスを共に創ろう!(再) _IoTビジネス共創ラボ 第10回 勉強会
Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)
IoTとは何?
AWS初心者向けWebinar AWSではじめよう、IoTシステム構築(リピート開催用)
Ad

More from IoTビジネス共創ラボ (13)

PDF
IoTビジネス共創ラボ紹介
PDF
ジェネレーティブAIと完全自動化がもたらす製造業の未来
PDF
IoT通信サービス 1NCE IoTフラットレートご紹介
PDF
見える化だけで終わらない! 製造業におけるIoTとインダストリアルメタバースのメリットとは
PDF
IoT アップデート​
PDF
Build ハイライト アップデート
PPTX
【第23回勉強会】IoTビジネス共創ラボ_紹介
PDF
IoTビジネス共創ラボ IDEACTIVE JAPAN PROJECTキックオフ説明会
PDF
輸送業界へ、今より楽に安心・安全・コスト抑制に繋がる新技術をお見せします
PDF
地域版IoT共創ラボで地方を元気に!関西企業コラボによる働く現場のDX事例
PDF
デジタルツインとシミュレーションで未来を予測する潮流
PDF
カルビーのデジタルマーケティングを支える Azure Cognitive Services
PDF
IoT多点観測システム クラウド基盤構築事例のご紹介 〜YDKテクノロジーズ様への導入事例〜
IoTビジネス共創ラボ紹介
ジェネレーティブAIと完全自動化がもたらす製造業の未来
IoT通信サービス 1NCE IoTフラットレートご紹介
見える化だけで終わらない! 製造業におけるIoTとインダストリアルメタバースのメリットとは
IoT アップデート​
Build ハイライト アップデート
【第23回勉強会】IoTビジネス共創ラボ_紹介
IoTビジネス共創ラボ IDEACTIVE JAPAN PROJECTキックオフ説明会
輸送業界へ、今より楽に安心・安全・コスト抑制に繋がる新技術をお見せします
地域版IoT共創ラボで地方を元気に!関西企業コラボによる働く現場のDX事例
デジタルツインとシミュレーションで未来を予測する潮流
カルビーのデジタルマーケティングを支える Azure Cognitive Services
IoT多点観測システム クラウド基盤構築事例のご紹介 〜YDKテクノロジーズ様への導入事例〜

物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ+AI」ソリューション開発をどう変える?

  • 1. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は 「カメラ+AI」ソリューション開発をどう変える? クラウドIoTカンパニー エンベデッドソリューション部 Microsoft MVP for Microsoft Azure 茂出木 裕也
  • 2. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 2 自己紹介 • 組み込み機器のファームウェア(BIOS)開発のプログラマー職を経て、 2007年に東京エレクトロンデバイスに入社 • 以後、約9年間は Microsoft社の組み込みOS(Windows Embedded)製品を担当 • 2016年4月より、 Microsoft Azureを中心とした IoT やクラウドソリューションを担当 Microsoft MVP for Microsoft Azure
  • 3. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 物流・社会インフラWG これまでの活動
  • 5. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 5 物流・社会インフラWG紹介 イベント 畜産 輸送・交通
  • 6. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 6 【取り組み事例】 養豚で機械学習を活用した出荷予測の検証 物流・社会インフラWGで、養豚の出荷予測の検証プロジェクトを実施 養豚の出荷に要する日数や頭数は、飼育担当者が 経験に基づいて判断(属人性が高い) 出産から出荷までの日数を、過去10年分の出荷データ や天候などの外部データを用いた Azure Machine Learningで推測 実績と比べて1週間程度の誤差で機械学習による予測 ができることを検証し実証 属人性から一般化への、一定の成果を得た
  • 7. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 物流・社会インフラWG 新しいテーマ Live Video Analytics (LVA)
  • 8. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 8 Live Video Analytics on IoT Edge https://docs.microsoft.com/ja-jp/azure/media-services/live-video-analytics-edge/overview エッジデバイスでビデオを分析し、結果をAzureのクラウドサービスやビジネスアプリケーションと連携
  • 9. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 9 物流・社会インフラWG での取り組み ⚫まずは技術検証 (LVAで何ができる?) 1. エッジデバイスは仮想マシン(VM)で構築+サンプルの動画と AIモデルを利用 2. 物理デバイス(エッジPC)とUSBカメラを利用 ⚫LVAを「やってみた」結果を皆様と共有 ⚫WGで活用シナリオやアイデア出し (どう活用できそう?) ⚫[募集] 現場・フィールドでの実証実験
  • 10. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 技術検証1. LVA サンプル・チュートリアル
  • 11. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 11 技術検証1. LVA サンプル・チュートリアル ⚫ エッジデバイス: Azure Linux VM (Ubuntu 18.04-LTS) + IoT Edge Runtime ⚫ カメラ: 無し (サンプル動画) ⚫ AIモデル: YOLO v3 (サンプルモデル) ⚫ アプリケーション: IoT Central テンプレート (サンプルアプリ)
  • 12. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 12 Live Video Analytics で推論モデルを使用する https://docs.microsoft.com/ja-jp/azure/media-services/live-video-analytics-edge/media-graph- extension-concept#use-your-inferencing-model-with-live-video-analytics 独自のAI(推論モデル)でビデオを分析 ※サンプルだと、映像からバスやトラックのオブジェクトを検出するAIモデル
  • 13. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 13 ビデオ分析 – 物体とモーション検出アプリケーションのアーキテクチャ https://docs.microsoft.com/ja-jp/azure/iot-central/retail/architecture-video-analytics Azure IoT Central (SaaS) では、物体やモーションを検出するテンプレートが提供
  • 14. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 14 Live Video Analytics で何ができる?(サンプル動画)
  • 16. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 16 Webアプリ(IoT Central のダッシュボード)で分析した結果を可視化
  • 17. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 17 オブジェクト検出時の映像はAzure Storage(BLOB)に記録される AMP viewer (Azure Media Player) で再生可能 https://github.com/Azure/live-video- analytics/tree/master/utilities/amp-viewer
  • 18. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 技術検証2. 物理デバイス(EdgePC+Camera)
  • 19. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 19 検証2. 物理デバイス+物理カメラ (USBカメラがあれば大丈夫!) 【Edge PC】 CPU: Core i5 RAM: 8GB OS: Ubuntu 18.04 + IoT Edge Runtime 【Camera】 Logicool C920 USB接続 https://github.com/Azure/live-video- analytics/tree/master/utilities/USB-to-RTSP USBカメラの映像をRTSP (Real Time Streaming Protocol) の ストリームに変換するコンテナー
  • 20. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 20 Tips: USB-to-RTSP でUSBカメラをRTSPで利用する 【usb-to-rtsp コンテナの実行】 sudo docker run --name usb-to-rtsp --device=/dev/video0 --env VIDEO_PIPELINE="v4l2src device=/dev/video0 ! videoconvert ! videoscale! video/x-raw ! x264enc tune=zerolatency ! rtph264pay name=pay0" -p 554:8554 -d -i usb-to-rtsp:v1 ⚫ デフォルトのストリームポートは 8554 → コンテナーからのRTSPストリームをエッジPC(Ubuntu)のポート 554 にマッピング ⚫ rtsp://{エッジPCのIPアドレス}:554/stream1 で、エッジPCに接続されたUSBカメラ映像を取得できるようになる
  • 21. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 21 サンプルのAIモデル(YOLO v3)で検出可能なオブジェクトは? https://github.com/Azure/live-video- analytics/blob/master/utilities/video-analysis/yolov3-onnx/tags.txt 80種類のオブジェクトを認識 bus train truck boat traffic light fire hydrant stop sign parking meter bench bird cat dog …etc
  • 22. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 22 サンプルのAIモデル(YOLO v3)で検出可能なオブジェクトを切り替える
  • 23. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 23 サンプルのAIモデル(YOLO v3)で検出可能なオブジェクトを切り替える
  • 24. Copyright © Tokyo Electron Device LTD. All Rights Reserved. カメラ映像から交通量調査(おもちゃ)
  • 26. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 26 IoT Central で「車」と「トラック」を検出
  • 32. Copyright © Tokyo Electron Device LTD. All Rights Reserved. LVA 何に使えそう?活用シナリオ例
  • 33. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 33 低湿保管庫の監視 (共創ラボ 2019年3月に実施)
  • 34. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 34
  • 35. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 35 当時の構成(7セグ数字読み取り→湿度の変化を可視化)
  • 36. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 36 当時の構成にLVAを加えると? ・保管庫自体を監視するカメラを設置 ・センサーでドアの開閉をトリガーにして カメラ映像を数値の変化を関連付け
  • 37. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 37 WGでの活用アイデア 目的・用途 収集データ アウトプット内容 オフィス・食堂での密チェック(行列チェック) 一定の空間の人数 ・PowerBIで可視化 ・一定数以上の人数がカウントされた場合はアラート オフィスのマスクの着用状況のチェック 一定の空間の人物検出及びマス ク検出 ・マスク着用率を可視化して一定数以下はアラート コールセンター等の出勤確認(PCの前に人が座っているかの確認) PCでのカメラを自動取得? オンラインMTG時の社員の顔画像で感情分析 顔画像 ・FACE APIで感情分析、感情の起伏を可視化 オンライン試験での監視員 受験者に動きがあった前後20秒 をあとから確認する 卓球の試合でカメラで自動的に判定 相撲の勝敗判定/あっちむいてホイの勝敗判定 iPad等で手で動作するものに対して、ジェスチャー非接触でコマンドを入力できる。 カメラでライブで顔認証して認証した人の動作で入力する 決められた標準手順を実行した時に人によってサイクルタイムが変わる 一つの作業のサイクルタイムが大きく変わるとアラートを出すような感じる。 生産管理のところでも使えるかもしれない。 LVAじゃないと実現できない事って? LVAがあるからこそ、「カメラ+AI」のアイデアを形にするまでの時間・工数を削減できる
  • 38. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 38 New: EFLOW (Azure IoT Edge for Linux on Windows) 対応 Windows OS 搭載の エッジデバイスでも活用できる!
  • 39. Copyright © Tokyo Electron Device LTD. All Rights Reserved. Live Video Analytics (LVA) これから始める方へ
  • 40. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 40 Github: live-video-analytics https://github.com/Azure/live-video-analytics
  • 41. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 41 Media Services と IoT Central https://docs.microsoft.com/ja-jp/azure/iot- central/retail/architecture-video-analytics https://docs.microsoft.com/ja-jp/azure/media- services/live-video-analytics-edge/overview Media Services: LVAの仕組みを理解する IoT Central: 簡単に使えるテンプレートでLVAを体験する IoT Edge、IoT Central、AMS(Azure Media Services)、Digital Twins…様々なスキルが必要
  • 42. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 42 クイックスタート・チュートリアル https://docs.microsoft.com/ja-jp/azure/media- services/live-video-analytics-edge/get-started-detect- motion-emit-events-quickstart https://docs.microsoft.com/ja-jp/azure/iot- central/retail/tutorial-video-analytics-deploy Media Services: LVAの仕組みを理解する IoT Central: 簡単に使えるテンプレートでLVAを体験する
  • 43. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 物流・社会インフラWG 「共創」のご案内
  • 44. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 44 一緒に「共創」しませんか? ⚫カメラを設置してやってみたい事がある!(ユーザー企業様) ⚫LVAで一緒にやってみたい事がある!(パートナー企業様) ⚫AIモデルの作成が得意、クラウドアプリ開発が得意・・・などなど
  • 45. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 45 クラウドIoTカンパニー エンベデッドソリューション部 URL:https://esg.teldevice.co.jp/iot/azure/ TEL: 045-443-4021