.png){kind=small}
날짜 : 2018.09.02(일요일)
시간 : 19:00 ~ 21:00
장소 : 온라인(구글 행아웃)
참여인원 : 4명(정승우, 이동주, 김현준, 황혜경)
활동목표 : 논문 스터디(U-net, Fusion-net) 활동 내용 :
1차 목표로 하고 있던 Image segmentation에 좋은 결과를 내고 있는 U-net, Fusion-net에 대해 일주일 동안 개인적으로 공부해보고 서로 발표식으로 진행하였습니다.
1. U-net
특징 :
- 대칭적인 형태로 Encoder, Decoder구조를 가지고 있는 CNN네트워크(Fully Convolution Network)
- Fully Connected Layer가 사용되지 않았다.
높은 image resolution을 위해서 FCL은 사용하지 않은 것으로 생각되어진다.
FCL은 vectorize를 해서 위치 정보를 손상시키므로 위치별 정보 손실이 적은 FCN 을 사용하였다
- Skip-connection이 사용되어 마치 U자모형으로 네트워크모양이 결정되었다.
- Upsample 부분에서 정보의 손실을 최대한 막기위해서 downsample 부분을 crop & concat 해서 up-conv를 한다.
skip-connection에는 add, concat이 있는데 사용되는 기준은 ??( 정해진 기준은 없고 실험을 통해서 좋은 결과를 내는 방법을 사용하는 것으로 생각되어진다, U-net에서는 concat 사용)
- End to End 구조
- Overlap-Tile Strategy
Input으로 들어가는 Patch의 경계 부분이 자연스럽지 않을 수 있으므로 위 그림처럼 Patch로 부터 나온 결과의 일부만 사용하도록 한다. 또한 패딩은 '미러패딩(Mirror Padding)'을 사용하는데, 위 그림의 경계처럼 바깥 부분을 보통의 CNN에서 사용되는 zero 값으로 채우는 것이 아니라 원본을 그대로 Mirroring 하는 것 사용
- Pre-compute weight map과 Data Augmentation (elastic deformation)
세포 사이 경계를 강조하여 네트워크로 하여금 더 잘 cell 구분하게 하기 위해 Pre-compute weight map 사용. (initialization 잘 하기 위해 쓰인 옵션)
Elastic Deformation을 shift, rotate, deformation 등을 이야기한 것. 이 때 세포는 모양이 바뀔 꺼고, 학습할 때 1이었던게 0이 될 수도 있는 등 더 다양한 경우를 학습할 수 있게 됨.
단점 :
- Deep 한 layer를 쌓으면 gradient vanishing 문제가 발생한다.(Fusion-net에서 residual block으로 문제를 해결)
- concat에서 channel이 2배가 되는데 이때 많은 parameter가 생긴다.(많은 메모리가 필요)
2. Fusion-net
특징 :
- 기본적인 아이디어는 U-net과 동일하다.
- U-net과 차이점은 Long-skip connection에서 concat이 아닌 summation을 해준다.
- Deep한 layer를 쌓기 위해 residual block을 추가했다. (short-skip connection)
- 다른 내용들은 U-net 과 동일
# 2주차 목표
왼쪽의 사다리 타기로 결정된 네트워크 구현해보기.
데이터 문제로 training은 그 다음주차 목표로 잡았다.