画像による脳腫瘍の検出
- 2. 成果物について • 脳腫瘍を検出し、良性/悪性を判別し、可視化できる高精度モデル • 実機、無課金のクラウドという限られた資源で安価に開発 Predicted Image Real Image Segmented Image 作成に要した時間（延べ）：２箇月弱 • 事前調査：15日 • 試作品（精度が出るまで）：６日（18時間） • モデルの改良（交差検証）：３日（８時間） • 文書作成：21日
- 3. 成果物について（再掲） • 脳腫瘍を検出し、良性/悪性を判別し、可視化できる高精度モデル • 実機、無課金のクラウドという限られた資源で安価に開発 Predicted Image Real Image Segmented Image 作成に要した時間（延べ）：２箇月弱 • 事前調査：15日 • 試作品（精度が出るまで）：６日（18時間） • モデルの改良（交差検証）：３日（８時間） • 文書作成：21日
- 4. 発表の流れについて 1. 背景（物体検出技術の有用性） 2. 開発環境 3. 学習データについて 4. 使用アルゴリズムについて 5. 結果 6. 次への施策（改良点） 7. 開発スケジュール 8. 苦労、実践したこと
- 5. 1. 背景（物体検出技術の有用性） • 動画像中の目的物を検出し、種類、位置及び個数を特定できる。 • 製造業、医療、建設業など幅広い分野で活躍する技術 （例） 1. 製造業、建設業での活用 → 外観検査、資材の搬入確認、現場作業者の安全確認（下写真） 2. 医療での活用 → 画像診断の補助 3. 車両（自動車、建設重機）や医療用機械 → 自動運転、運転支援、外科手術支援 ITmedia Inc, BUILD, 「画像認識AI」で現場の安全衛生を支える！頻発する“工事事故”を防ぐ建設ICT, https://built.itmedia.co.jp/bt/articles/2310/13/news020.html, 2023年10月（閲覧日2024年9月19日)
- 6. 2. 開発環境 Python 3.8（MacBook上） • matplot lib 3.7.5 • numpy 1.24.4 • Pandas 2.0.3 • Scikit-learn 1.3.2 • PyTorch 2.4.1 • Torchvision 0.1.6 • Ultralytics 8.2.92 • Wandb 0.18.0 • SAM（Segment Anything Model） @git+https://github.com/facebookresearch/segment-any thing.git@526fd066dea338ba2ca08886853bd37ffd6a8aec ⚫Google Colab（無課金、T4GPU x ２） ⚫MacBook Air M1(2020） 演算装置：Apple M1 チップ • Frequency ： 3.2GHz • CPU Cores ： 8 • GPU Cores ： 7 • Memory ： 8GB ソフトウェア ハードウェア
- 7. 3. 学習データについて Radiological Society of North America, Brain Tumor AI Challenge (2021) • ソース https://www.rsna.org/rsnai/ai-image-challenge/brain-tumor-ai-challenge-2021 • データセットの説明 北米放射線学会から提供されている脳のMRI画像（３面からそれぞれ 撮影された画像があるが、ここではAxial：横断面を例としている。） Data train test train valid 80% 20% × ５ （5 - Fold） Image : 385 Label : 371 Image : 75 Label : 75 Image : 296 Label : 296
- 8. 4. 使用アルゴリズムについて（１） 物体検出及び分類 … Yolo（You Only Look Once） ver.8 • 対象画像を小領域に分割し、特徴を検出するCNN系列の手法。 • 高精度・高速なため、自動運転などのリアルタイム検出に使われている。 • SOTA（State Of The Art：現在の最先端手法）である。 Joseph Redmon and Santosh Divvala and Ross Girshick and Ali Farhadi, "You Only Look Once: Unified, Real-Time Object Detection, CVPR 2016 papers, 2016, https://arxiv.org/abs/1506.02640
- 9. 4. 使用アルゴリズムについて（２） 検出物体の可視化 … SAM（Segment Anything Method） • 2023年にMeta社が公開したセグメンテーションの基盤モデル （セグメンテーションとは画像を画素レベルで個別のグループに分割すること） • このモデルでは自然言語処理から画像向けに転用した深層学習手法、ViT（Vision Transformation）を使用している。 • Yolov8で検出した脳腫瘍の座標をSAMモデルに与え、可視化させた。 Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick, "Segment Anything", ICCV 2023 open access, 2023, https://arxiv.org/abs/2304.02643
- 10. 5. 結果（Axial：横断面） 評価データ（Valid）及び試験データ（Test）の両方において精度が高い Predicted Image Real Image Segmented Image 評価データ（Valid） 試験データ（Valid） mAP50 mAP50-95 precision Recall F1-Score all 100% 86.2% 100% 100% 100% negative 100% 86.9% 100% 99.0% 100% positive 100% 85.6% 100% 100% 100% mAP50 mAP50-95 precision Recall F1-Score all 98.7% 84.5% negative 98.7% 84.5% 97.5% 99.0% 98.3%
- 11. 5. 結果（Coronal：冠状面） 評価データ（Valid）及び試験データ（Test）の両方において精度が高い Predicted Image Real Image Segmented Image 評価データ（Valid） 試験データ（Valid） mAP50 mAP50-95 precision Recall F1-Score all 97.9% 85.9% 100.0% 97.6% 97.6% negative 99.5% 88.0% 100.0% 100.0% 100.0% positive 96.4% 83.8% 100.0% 96.3% 96.2% mAP50 mAP50-95 precision Recall F1-Score all 99.0% 84.3% 96.0% 95.1% 95.5% negative 99.4% 85.5% 94.1% 94.1% 94.1% positive 98.6% 83.1% 98.0% 96.0% 97.0% Predicted Image Real Image Segmented Image
- 12. 5. 結果（Sagittal：矢状面） 比較的、精度が低い ← 腫瘍部が全体に比べ小さいため、学習と検出が困難だった。 Predicted Image Real Image Segmented Image 評価データ（Valid） 試験データ（Valid） mAP50 mAP50-95 precision Recall F1-Score all 91.1% 76.8% 56.0% 49.1% 58.7% negative 92.2% 73.6% 56.0% 48.3% 51.9% positive 90.0% 80.0% 94.7% 50.0% 65.5% Predicted Image Real Image Segmented Image mAP50 mAP50-95 precision Recall F1-Score all 95.4% 79.7% 77.1% 95.5% 85.3% negative 95.7% 82.6% 92.4% 97.1% 94.7% positive 95.1% 76.8% 69.6% 72.7% 71.1% Segmented Image
- 13. 6. 次の施策（改良点） （案の１） ① より多くの学習データを与え、モデルに強化学習を施す ② Data Augmentation：データ拡張をし、画像データを水増しする （例） • 輝度値を変える • 回転を加える （案の２） SAHIを施す。（腫瘍部が小さいため、検出精度が下がっている場合） SAHI：Slicing Aided Hyper Inference 推論時、小領域を重複して探索することで、小物体を検出するアルゴリズム
- 14. 7. 作成スケジュール 作成に要した時間（延べ）：２箇月弱 • 事前調査：15日 • 試作品（精度が出るまで）：６日（18時間） • モデルの改良（交差検証）：３日（８時間） • 文書作成：21日 細目 07/16 07/17 07/18 07/19 07/20 07/21 07/22 07/23 07/24 07/25 07/26 07/27 07/28 07/29 07/30 07/31 08/01 08/02 08/03 08/04 08/05 08/06 08/07 08/08 08/09 08/10 08/11 08/12 08/13 08/14 08/15 08/16 08/17 08/18 08/19 08/20 08/21 08/22 08/23 08/24 08/25 08/26 08/27 08/28 08/29 09/10 09/11 09/12 09/13 09/14 09/15 09/16 09/17 09/18 09/19 09/20 火 水 木 金 土 日 月 火 水 木 金 土 日 月 火 水 木 金 土 日 月 火 水 木 金 土 日 月 火 水 木 金 土 日 月 火 水 木 金 土 日 月 火 水 木 火 水 木 金 土 日 月 火 水 木 金 ポートフォリオの作成 スライド作成 SAM 画像検出技術の習得 Tensorflow モデルの改良 Pytorch R-CNN Faster-RCNN Yolov8 画像検出技術の調査 セグメンテーションモデルの習得 課題の設定 文書作成 コードの作成 画像による脳腫瘍の 検出 成果物種類 ツール 工程 但し、 • 就活準備（写真撮影や書類） • 他の成果物の作成 で本来時間の1.5～2倍の期間を記している。
- 15. 8. 苦労、実践したこと • 苦労点 ➢実機（M1 Mac）での学習におけるミニバッチサイズの設定 ライブラリの仕様で適切なバッチサイズを設定しないと • 計算が回らなかったり • メモリリークが発生した ので、適切な設定の探索に時間を要した。 ↑ オフライン環境や限られたメモリ資源での開発を想定した。 • 実践したこと ➢SAMの導入 脳全体を明示化しないよう、Yolo v8モデルで検出した領域を与えることで 腫瘍周辺に限定できた。また、SAMは多くのメモリを要するが、処理範囲 を限定することで省メモリ化で実装できた。
- 16. ご清聴ありがとうございました