SlideShare a Scribd company logo
Holoeyes Inc.
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
患者のCTデータから作成
肝臓がん術前カンファレンス 都⽴墨東病院   
オペ室ではMixed Realityを使う
術野に3Dを表⽰
VRで脊椎へのスクリューのインプラント
スクリューの位置からバーチャルな棒を⽴てる
⾚ちゃんの様⼦をMixed Realityで表⽰
CEO/CTO ⾕⼝直嗣
3D、VR、ロボットに
精通するテクノロジスト
COO 杉本真樹
外科医、
国際医療福祉⼤学准教授
CSO 新城 健⼀
AllAbout創業から
上場までプロデューサー
として参画。
Medical * Technology * Internet
HoloEyes は医療の世界で
VRとAIで
デジタルトランスフォーメーション
を推進します。
Machine Learningのニーズ
Segmentation
Marchine Cube
Polygon
Segmentation Challengeを発⾒
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
論⽂調査のポイント
肝臓、すい臓、⻭などの論⽂を調査
その後、先⽇ダウンロードした全24論⽂を
以下の点について横断的に調査
どんなデータセットを採⽤しているか?
フレームワークの種類、プログラムの公開状況、および計算の再現性。
医⽤画像セグメンテーションの特徴1
データセット
セット数が少ない: ⼤体数⼗セット
Data Augmentation
数⼗万オーダにデータを増やす
対象の特徴に合わせた⼿法
elastic deformationなど
医⽤画像セグメンテーションの特徴2
ネットワーク
CNN (U-net含む)
VNet, Cumedなど3次元セグメンテーションもある
loss関数
クロスエントロピー, DICE係数など
データフォーマット
DICOM形式 / MHD形式
CT値/MRI信号強
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
データセット
MRI
解像度 320 * 320 * 20
セット数 : 50
セグメンテーションシステムの構成
画像⼊⼒
正規化
Data Augmentation
VNet
Connected component analysis
DICOM出⼒
Data Augmentation
ヒストグラムマッチング
ヒストグラムを変換し、原画像のコントラスト変える
Image Deformation
B-spline変換
B-splineでの近似曲線のパラメータを変換
他に医⽤画像系では、回転、反転なども
VNet
3D(Volume)の
セグメンテーション
Down ConvとUp Conv
学習条件・環境
30000 step
azure GPU K80
Caffe
Connected Component Analysis
空間連結
⾮連結領域の除去
CaffeからChainerへ
Caffeのネットワークの記述はprototextに定義
全部Pythonのコードの⽅が気持ちがいい
マルチGPUを考えてChainerを採⽤
data augmentationはchainer.dataset.DatasetMixinクラスを⽤
いて実装することで動的に⽣成できる。
これでGPUで全計算可能、かつcaffeではできなかった動的⽣成によ
り精度向上も期待される。
CTスキャンデータをChainerベースの
システムで学習、セグメンテーション
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用

More Related Content

PDF
190210_DLLAB 医療×AIシンポジウム_Holoeyes株式会社 谷口直嗣氏
PDF
医療×AIシンポジウム -医療×AI推進人材を考える-
PPTX
「IoTやAIテクノロジーの産学イノベーション経験談」
PDF
エムネス読影センターのご案内
PPTX
医療・介護イノベーション改革 イノベーション・ニューディール戦略0610案
PPTX
ヘルスケア領域でのDeep Learnigの動向
PDF
医療×AIシンポジウム -医療×AI推進人材を考える- 報告書
PPTX
デザイン学会2106
190210_DLLAB 医療×AIシンポジウム_Holoeyes株式会社 谷口直嗣氏
医療×AIシンポジウム -医療×AI推進人材を考える-
「IoTやAIテクノロジーの産学イノベーション経験談」
エムネス読影センターのご案内
医療・介護イノベーション改革 イノベーション・ニューディール戦略0610案
ヘルスケア領域でのDeep Learnigの動向
医療×AIシンポジウム -医療×AI推進人材を考える- 報告書
デザイン学会2106

Similar to deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用 (20)

PDF
投資会社から見た人工知能(Ai)の事業化トレンド
PPTX
医用画像情報イントロダクション Ver.1 0_20160726
PPTX
ニコニコ学会データ分析研究会 第一回伊豫田発表 全体について
PDF
DLLAB Healthcare Day 2021 Event Report
PPTX
介護医療業界におけるマイクロソフトテクノロジー動向
PDF
プロ直伝 伝わるデータビジュアル術
PDF
中国のAI産業状況、スタートアップ情報リサーチ
PDF
バーチャルリアリティ(VR)概要
PDF
両眼立体視可能なスマートグラス を用いた3Dモデル可視化アプリの 開発
PPTX
第1回医用画像データマネージメント研究会 20170118 slideshare
PDF
Introduction of japan biodesign program.
PDF
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
PDF
20151104 health2.0 in Japan - clinical big data and subjects
PPTX
PDRと統合測位で製造業の『働き方改革』!
PDF
サービス学とか何か(応用サービス工学)
PPTX
人と機械の協働によりデータ分析作業の効率化を目指す協働型機械学習技術(NTTデータ テクノロジーカンファレンス 2020 発表資料)
PPTX
世界を変える先端Itテクノロジー
PPTX
国際標準化におけるAR/MR用語の使われ方
PPTX
ils2023
PPTX
ils2023
投資会社から見た人工知能(Ai)の事業化トレンド
医用画像情報イントロダクション Ver.1 0_20160726
ニコニコ学会データ分析研究会 第一回伊豫田発表 全体について
DLLAB Healthcare Day 2021 Event Report
介護医療業界におけるマイクロソフトテクノロジー動向
プロ直伝 伝わるデータビジュアル術
中国のAI産業状況、スタートアップ情報リサーチ
バーチャルリアリティ(VR)概要
両眼立体視可能なスマートグラス を用いた3Dモデル可視化アプリの 開発
第1回医用画像データマネージメント研究会 20170118 slideshare
Introduction of japan biodesign program.
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
20151104 health2.0 in Japan - clinical big data and subjects
PDRと統合測位で製造業の『働き方改革』!
サービス学とか何か(応用サービス工学)
人と機械の協働によりデータ分析作業の効率化を目指す協働型機械学習技術(NTTデータ テクノロジーカンファレンス 2020 発表資料)
世界を変える先端Itテクノロジー
国際標準化におけるAR/MR用語の使われ方
ils2023
ils2023
Ad

More from Naoji Taniguchi (20)

PDF
Vaniimenu and Holoeyes
PDF
キングサーモンプロジェクト スタートアップ・エコシステム 東京コンソーシアム 学生向け講演資料
PDF
H3第40回「ヘルスケアVR超入門」
PDF
Pillow2.0
PPTX
ヘルスケア分科会ディスカッション
PDF
Robo diorama
PDF
深掘りARKit
PDF
Deep Learningを使って前立腺のセグメンテーションからVR化
PPTX
HoloEyes株式会社紹介
PDF
VR元年のその次へ
PDF
心臓のお勉強
PPTX
Practical game development with Stingray 2
PDF
Science museum with_sketch
PPTX
Practical game development with Stingray
PDF
Practical use of game engine in CG and Robotics
PDF
VRを使ったビジュアライゼーションの可能性について @Unite 2015 Tokyo
PDF
デブサミ2015版「VRを使った データビジュアライゼーションの 可能性について」
PDF
VRを使ったData Visualizationの可能性について
PDF
ウェアラブルVRの現状と未来
PDF
Ocu tonetmcn
Vaniimenu and Holoeyes
キングサーモンプロジェクト スタートアップ・エコシステム 東京コンソーシアム 学生向け講演資料
H3第40回「ヘルスケアVR超入門」
Pillow2.0
ヘルスケア分科会ディスカッション
Robo diorama
深掘りARKit
Deep Learningを使って前立腺のセグメンテーションからVR化
HoloEyes株式会社紹介
VR元年のその次へ
心臓のお勉強
Practical game development with Stingray 2
Science museum with_sketch
Practical game development with Stingray
Practical use of game engine in CG and Robotics
VRを使ったビジュアライゼーションの可能性について @Unite 2015 Tokyo
デブサミ2015版「VRを使った データビジュアライゼーションの 可能性について」
VRを使ったData Visualizationの可能性について
ウェアラブルVRの現状と未来
Ocu tonetmcn
Ad

deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用