Aerial detection part2
- 1. Aerial Object Detection HyeongJun Kwon 2019-2
- 2. Contents 2 1. Detecting Oriented Text in Natural Images by Linking Segments 2. 𝐑 𝟐CNN
- 4. 4 Main Idea : Decompose text into two locally detectable elements, namely segments and links. SegLink The key advantage of this approach is that long and oriented text is now detected locally since both basic elements are locally-detectable:
- 5. 5 SegLink Segment: oriented box is part of the word 𝒍 𝑡ℎ layer default box ∶ predicted segments box ∶ 𝑎𝑙 = 𝜆 wI w 𝑙 , where 𝜆 = 1.5
- 6. 6 SegLink Link: connects pair of adjust segments - within layer link - Cross layer link
- 7. 7 SegLink Link: connects pair of adjust segments - within layer link : As segments are detected locally, a pair of neighboring segments are also adjacent on input image. which are the segments on the same layer. Every segment has 8 within-layer neighbors.
- 8. 8 SegLink Link: connects pair of adjust segments - Cross layer link : segments of the same word could be detected on multiple layers at the same time, producing redundancies. which are the segments on the preceeding layer. Every segment has 4 cross-layer neighbors.
- 9. 9 SegLink
- 10. 10 SegLink
- 11. 11 SegLink
- 12. 12 SegLink
- 13. 13 SegLink Groundtruths of Segments and Links 1) the center of the box is inside the word bounding box; 2) the ratio between the box size al and the word height h satisfies:
- 14. 14 SegLink Objective OHEM : negative and positive ratio 3:1 in segments set
- 15. 15 SegLink Implements Details Key Value Dataset SynthText(before finetune), real dataset Optimizer Standard SGD Batch size, learning rate 32 Learning rate 10−3(first 60k iterations), 10−4(rest 30k) Framework Tensorflow Environments Xeon 8-core cpu, 4 Titan X, 64GB RAM
- 17. 17 SegLink Limitations 2. Curved shape & distant segments 1. Set 𝜶, 𝜷 manually by a grid search
- 19. 19 𝐑 𝟐 CNN the angle target is not stable in some special points. Set box coordinates to (𝑥1, 𝑦1, 𝑥2, 𝑦2, ℎ) 𝜃2 𝜃1 Unstable condition of angle (boundary discontinuity)
- 20. 20 𝐑 𝟐 CNN Anchor size : (8,16,32) Anchor size : (4, 8,16,32) Keep other setting of RPN the same as Faster R-CNN RPN for proposing axis-aligned boxes. ROIPoolings of different pooled sizes. try to use three ROIPoolings with different sizes to catch more text characteristics. Add (11 x 3), (3 x 11) on (7x7)
- 22. 22 𝐑 𝟐 CNN Objective Let 𝑤, 𝑤∗ indicates 𝑣𝑖, 𝑣𝑖 ∗ 𝑜𝑟 𝑢𝑖, 𝑢𝑖 ∗ , 𝐿 𝑟𝑒𝑔 𝑤, 𝑤∗ is defined as ∶
- 23. 23 𝐑 𝟐 CNN Implements Details Key Value Dataset ICDAR2015 and augmented data about angle Pretrained model VGG 16 Optimizer Standard SGD Batch size, learning rate 32 Learning rate Learning rates start from 10^−3 , and are multiplied by 1/10 after 5×10^4 , 10×10^4 and 15 × 10^4 iterations. Environments Tesla K80 GPU
Editor's Notes
- #3: Cluster detection networ의 전체 스트럭쳐 입니다. 크게 Cluster proposal network랑 scale network그리고 detection network가 존재합니다.
- #4: Cluster detection networ의 전체 스트럭쳐 입니다. 크게 Cluster proposal network랑 scale network그리고 detection network가 존재합니다.
- #5: ClusDet의 목표는 image에 object들이 non-uniform하게 분포하며 군집화되어 있는 경향으로 인한 문제점을 해결하는 것 입니다. 기존의 연구들은 이러한 문제점에 대해서 논의한 적이 없다는 것이 선행연구들의 문제점이라 하였습니다. 이를 해결하기위해 Cluster proposal network와 Scale network를 저자는 제안하였습니다.
- #6: Cpnet은 RPN과 거의 유사한 형태를 가지고 있습니다. 다만 large receptive field를 필요로 하여 feature extractor의 첫 번째 layer를 사용합니다.
- #7: Cpnet은 RPN과 거의 유사한 형태를 가지고 있습니다. 다만 large receptive field를 필요로 하여 feature extractor의 첫 번째 layer를 사용합니다.
- #8: Cpnet은 RPN과 거의 유사한 형태를 가지고 있습니다. 다만 large receptive field를 필요로 하여 feature extractor의 첫 번째 layer를 사용합니다.
- #9: Cross layer link 는 기존의 NMS와 다르게 중복의 결합을 학습할 수 있는 방법을 제시하였습니다.
- #10: Cross layer link 는 기존의 NMS와 다르게 중복의 결합을 학습할 수 있는 방법을 제시하였습니다.
- #11: Cross layer link 는 기존의 NMS와 다르게 중복의 결합을 학습할 수 있는 방법을 제시하였습니다.
- #12: Cross layer link 는 기존의 NMS와 다르게 중복의 결합을 학습할 수 있는 방법을 제시하였습니다.
- #13: Cross layer link 는 기존의 NMS와 다르게 중복의 결합을 학습할 수 있는 방법을 제시하였습니다.
- #14: Cross layer link 는 기존의 NMS와 다르게 중복의 결합을 학습할 수 있는 방법을 제시하였습니다.
- #15: 첫 번째 term은 segments score이며 마지막 term은 link score입니다.
- #16: 첫 번째 term은 segments score이며 마지막 term은 link score입니다.
- #17: 첫 번째 term은 segments score이며 마지막 term은 link score입니다.
- #18: 첫 번째 term은 segments score이며 마지막 term은 link score입니다.
- #19: 첫 번째 term은 segments score이며 마지막 term은 link score입니다.
- #20: 첫 번째 term은 segments score이며 마지막 term은 link score입니다.
- #21: 첫 번째 term은 segments score이며 마지막 term은 link score입니다.
- #22: 기존의 NMS와 다른 방식은 IoU 계산 시에 horizontal gt를 이용한 IoU계산이 아닌 oriented gt를 이용한 IoU를 계산하는 것이다.
- #23: 람다1은 horizontal bounding box를 조정하는 coefficient이고 람다2 는 oriented bounding box를 조절하는 coefficient입니다. Regression task에서는 모두 smooth l1 loss를 사용합니다.
- #24: 첫 번째 term은 segments score이며 마지막 term은 link score입니다.
- #25: 첫 번째 term은 segments score이며 마지막 term은 link score입니다.
- #26: 첫 번째 term은 segments score이며 마지막 term은 link score입니다.