Aerial detection1
- 1. Aerial Object Detection HyeongJun Kwon 2019-2
- 2. Contents 2 1. ClusDet 2. RoI Transformer 3. SCRDet 4. GcGAN 5. CBAM
- 4. ClusDet 4 Object : solve image with object sparse and non-uniform and tend to be highly clustered in certain regions Existing Problem of Method: - parse, non-uniform and highly clustered in certain region Proposed Method: - Cluster Proposal Sub-network (CPNet) - Scale Network
- 5. ClusDet 5 Cluster Proposal Sub-network (CPNet) : like RPN, but using first layer of feature extractor because of large receptive field
- 6. ClusDet 6 ICM : aggregate Cluster region algorithm
- 7. ClusDet 7 ScaleNet & Padding and partition(PP) : to avoid extreme scale of objects degrading detection performance
- 10. RoI Transformer 10 Object : oriented and densely packed detection task Existing Problem of Method: - Expensive Computation - Not Learning rotation-invariant feature Proposed Method: - RRoI learner - Rotated Position Sensitive RoI pooling (RPS RoI pooling)
- 11. RoI Transformer 11 RRoI learner. For computational efficiency, matching RRoI and RGT before determine 𝑡θ ∗ RPS RoI Align. Rotate + PS RoI pooling + RoI Align
- 15. SCRDet 15 Object : oriented and densely packed detection task Challenging task of object detection: - Small object - Cluttered arrangement - Arbitrary orientation Proposed Method: - Sampling fusion network(SFnet) for issue of small object - Multi-dimensional attention network for denoising background noise
- 16. SCRDet 16 SFNet : module for combining Feature fusion and Finer sampling Feature fusion: for combining low-level and high- level information like FPN, TDM etc.. Finer sampling: small size of anchor stride achieve higher EMO score than large size
- 17. SCRDet 17 MDANet : suppress noise by using pixel attention + channel attention Channel Attention: Using SE-module Pixel Attention: Using Inception-module & get attention loss by using binary map of RGT
- 18. SCRDet 18
- 19. SCRDet 19 IoU smooth L1 loss : for solving boundary discontinuity problem
- 20. SCRDet 20
- 21. SCRDet 21
- 23. GcGAN 23 Object : inference marginal distribution about source domain and target domain Existing Problem of Method: - Existing constraints have overlooked special characteristics of image : geometric transformation do not change semantic structure Proposed Method: - Geometric consistency which can make model one-side mapping
- 24. GcGAN 24 Geometric consistency constraints ℒℊℯℴ 𝐺 𝑋𝑌, 𝐺 𝑋𝑌, 𝑋, 𝑌
- 27. CBAM(Covolutional Block Attention Module) 27 Network Overview
- 28. CBAM(Covolutional Block Attention Module) 28 Experiments on MS COCO
- 29. Result 29 Baseline(RoI Transforemr with Faster Rcnn) on DOTA 1 Plane BD Bridge GTF SV LV Ship TC BC ST SBF RA Harbor SP HC mAP 88.52 80.13 52.45 71.01 63.16 79.63 85.17 90.68 85.50 82.37 51.82 37.22 72.09 63.28 57.89 70.73 Plane BD Bridge GTF SV LV Ship TC BC ST SBF RA Harbor SP HC mAP 88.01 78.34 52.56 71.64 61.33 79.89 83.97 90.61 85.14 83.30 50.22 37.72 67.59 62.14 62.10 70.5 Results(Baseline) Results(Baseline+CBAM)
- 30. Result 30 CBAMGT
Editor's Notes
- #3: Cluster detection networ의 전체 스트럭쳐 입니다. 크게 Cluster proposal network랑 scale network그리고 detection network가 존재합니다.
- #4: Cluster detection networ의 전체 스트럭쳐 입니다. 크게 Cluster proposal network랑 scale network그리고 detection network가 존재합니다.
- #5: ClusDet의 목표는 image에 object들이 non-uniform하게 분포하며 군집화되어 있는 경향으로 인한 문제점을 해결하는 것 입니다. 기존의 연구들은 이러한 문제점에 대해서 논의한 적이 없다는 것이 선행연구들의 문제점이라 하였습니다. 이를 해결하기위해 Cluster proposal network와 Scale network를 저자는 제안하였습니다.
- #6: Cpnet은 RPN과 거의 유사한 형태를 가지고 있습니다. 다만 large receptive field를 필요로 하여 feature extractor의 첫 번째 layer를 사용합니다.
- #7: 또한 너무 많은 Cluster가 제시되는 경우가 있기 때문에 ICM을 제안하였습니다. 간단한 구조는 가장 큰 Cluster에 작은 cluster를 합치는 알고리즘입니다.
- #8: Scale network는 cluster에 있는 object의 상대적인 크기의 문제를 해결하기 위해서 제시한 network입니다.
- #9: 결과는 다음과 같습니다.
- #10: RoI Transformer의 구조는 다음과 같습니다. RRoI learne와 RPS RoI Align method가 contributio입니다.
- #11: RoI Transformer는 oriented and densely packed detection task를 해결하는 것이 목표입니다. 선행연구(Rotated object detection)들은 computational cost가 매우 크다는 단점이 있으면 rotation-invariant feature를 learning하지 못한다는 단점이 있습니다. 이에 저자는 RRoI learne와 RPS RoI Align method를 제안하였습니다.
- #12: 간단하게 설명을 하면 feature map을 생성하기 전에 sub module로 feature map에서 예측 위치와 각도 값을 뽑아낸 다음 이 값을 이용해 rotate 시키는 것입니다. RPS RoI Align은 rotate ps roi pooling과 roi align이 합쳐진 모듈입니다. 식으로는 다음 표현과 같습니다.
- #13: Learning invariant feature는 warpin이후 각도 변환을 시켜서 학습을 진행하면 rotate invariant feature로 학습을 할 수 있습니다.
- #14: 결과는 다음과 같습니다.
- #15: 다음은 SCRDet의 모델구조입니다. Sampling fusion(SF) network와 Multi-dimensional attention network구조가 추가되었습니다.
- #16: 해당 network또한 oriented and densely packed detection task를 해결하는 것이 목표입니다. 저자는 object detection의 어려운 점으로 다음 세가지를 뽑았습니다. 이를 해결하기 위해 각각 sfnet과 mdanet을 제안하였습니다.
- #17: Sfnet은 feature extractor의 첫 번째 layer와 second layer를 이용하여 feature를 fusion합니다. 두 번째 layer에는 inception module을 붙였습니다. Finer sampling은 anchor stride가 작을수록 EMO score가 올라간다는 점에서 anchor stride를 작게 가져가는 것을 택했습니다.
- #18: MDAnet은 attention module을 추가하여 noise를 억제하는 network입니다. Attention loss가 blur를 줄여주는 역할을 합니다.
- #20: 가장 큰 contribution point라 생각되는 IoU smooth l1 loss입니다. Bbox regression시에 boundary discontiuity problem을 완화시켜줘서 학습을 안정시키는 결과를 가져왔습니다.
- #21: 결과입니다. SCRDet이 성능이 앞서는 것을 확인할 수 있습니다.
- #22: Abblation study 결과입니다.
- #23: Network를 간단한게 보면 왼쪽부터 cycle gan, distance gan , gcgan입니다.
- #24: Source domain과 target domain의 marginal distribution을 구하는 것이 목표입니다. 저자가 제안한 문제점은 기존의 연굳들은 image의 특별한 성질을 간과한 것이 문제라 하였습니다. 이에 one side mapping이 가능한 Geometric consistency constraints를 제안하였습니다.
- #25: 크게 복잡한 것은 없으므로 식을 보면서 간단하게 설명을 하면 tranformation된 image가 translation되는 것과 translation된 image가 tranformation된 것의 차이를 줄이는 것이 object function의 일부입니다. 전체 object function은 gan loss랑 tranformation이후 image에 대한 gan loss그리고 geometric consistency loss의 합입니다.
- #26: 결과입니다.
- #27: 결과입니다.
- #28: 추가적으로 기존의 object detection network의 성능향상을 위해 적절한 모듈을 찾아봤는데 network engineering 논문 중 CBAM이라는 sub-module을 찾아서 잠깐 소개하겠습니다. Attention module이고 적용 부분은 backbone network에 적용 시켰습니다.
- #29: Object detection에서도 성능향상이 나왔다고 제시되어있습니다.
- #30: 논문에 제시된 Roi tranformer의 결과입니다. 또한, 아래는 training을 돌려서 결과를 확인해본 roi transforemer와 +cbam network의 mAP결과 입니다. category별 ap의 분포는 비슷한데 큰 성능 변화가 없었습니다.