[논문리뷰] 4. 심층 CNN에 대하여

논문명: Very Deep Convolutional Networks for Large-Scale Image Recognition

논문저자: Karen Simonyan & Andrew Zisseman

1. 개요: 이논문은 제목 그대로이다. '깊은' 합성곱 신경망이 얕고 '고급진' 신경망과의 비교를 주로 삼았다고 생각하면 된다. 

2. 실험 개요:

전체적인 실험의 조건은 다음과 같았다.

1. 활성화 함수로는 ReLU를 사용

2. 출력 함수로는 Softmax를 사용

3. 224*224 크기의 컬러 이미지를 사용

4. 완전 연결 계층 3개를 사용 


본 실험은 위의 표에서 보다 싶이 A~E까지의 경우로 나누어서 실험을 진행했다. 
A부터 E는 각 11개~19개의 층을 가지며 완전연결 계층을 제외할 경우 각 8~16개의 합성곱 층을 가지게 된다.  그럼 각각의 경우를 확인해보겠다.

A: 가장 얕은 신경망으로 3*3필터가 적용된 층이 총 8개가 존재하며 특이사항은 없다.
A-LRN: 전체적인 구성은 동일하지만 LRN, 즉 정규화를 적용하였다.
B: A와 비슷하지만 3*3층이 2개 더 추가되었다.
C: B에 3개의 층이 추가되었는데 이때 추가된 층의 필터는 3*3이 아닌 1*1필터이다.
D: C와 비슷하지만 추가된 층의 필터가 3*3이다.
E: D에 3*3필터를 3개를 추가하였다.

그리고 각 경우의 변수는 다음과 같다.
 

특징으로는 B,C,D를 확인할 수 있는데 B,C는 층이 3개나 차이나지만 변수의 숫자는 크게 차이가 없고 반대로 C,D는 층의 갯수는 동일하지만 변수의 숫자가 차이나는 것을 볼 수 있다.

3. 실험 진행:
실험은 다음과 같이 진행되었다. 
1. 확률적 경사하강법을 이용
2. 무작위로 Shift 진행
3. 등방적으로 리스케일링 되기도 함(Q라는 변수) 
3.1 Scale Jittering이라는 이름으로 사용됨
4. 다중 GPU를 통한 병렬적 처리 

4. 실험 결과 
1. 단일 스케일
단일 스케일의 경우 하나의 사이즈의 이미지를 사용하여 학습에 사용하는 것이다. 
먼저 결과 표를 보면 다음과 같다.


전체적으로 보면 층의 깊이가 깊어질 수록 정확도가 높아지는 단순한 결과로 보인다. 하지만, 몇가지 특징이 존재한다. 

1. A와 A-LRN의 비교
정규화를 적용한 모듈과 그렇지 않은 모듈의 비교를 보면 큰 차이가 없다. 아니 오히려 성능이 더 떨어지는 경향을 보인다. 따라서 논문에서는 다음 실험부터 A-LRN을 배제하였다.

2. 스케일 지터링의 영향
C, D, E를 보면 각 모듈이 Input 값이 하나로 정해졌을 때보다 256~512로 임의로 rescailing되었을 경우 정확도가 더 높아지는 특이사항이 보였다. 그것도 분명 '싱글 스케일'인데 말이다.

2. 다중 스케일



다중스케일의 경우 하나의 사진에서 여러 개의 스케일을 얻어 여러개의 이미지로 학습&시험 하는 방법이다. 여기서도 보다 싶이 지터링이 적용된 경우 가장 정확도가 높게 나왔으며 D,E의 차이가 거의 나지 않는 특이사항 역시 발견되었다.

3. 멀티 크롭


이미지를 256,384,512의 Q값으로 크롭하여 진행하였다. C,D가 크게 차이 나지 않는 모습을 보였다.

4. 기존의 알고리즘과의 비교


보다 싶이 대부분의 알고리즘보다 우세한 정확도를 보인다. 또한 구글넷의 경우 연구용으로만 사용해야 할정도로 복잡한데 이와 유사한 정도로 정확도를 보였다는 것 자체가 큰 의미가 있다.

5. 총평:
생각보다 재미있는 논문이였고 흥미로웠다. 따라서 이 논문의 몇가지를 CNN을 구현하면서 실험해 보았다. 이는 나중에 포스트로 따로 올리겠다.

출처: 
논문: https://arxiv.org/abs/1409.1556
  


  






댓글

댓글 쓰기

이 블로그의 인기 게시물

다양한 계층 구현을 통한 오차역전파법 구현하기(2)

 저번에 포스팅을 이어서 하도록 하겠다. 이번 포스팅할 코드는 오차 역전파법을 이용해 2층 신경망 클래스의 구현이다. 다만 실제 학습하는 것은 생략하고 각각의 구현에 대해서 설명하도록 하겠다. 일단 먼저 구현하는 코드를 보기 전에 이 코드에 들어가는 함수들에 대해 설명하겠다. 1. sigmoid: 시그모이드 함수를 구현한 것이다. 2. softmax: 소프트맥스 함수를 구현한 것이다. 3. cross_entropy_error: 교차앤트로피 오차를 구현한 것이다. 4. numerical_gradient: 가중치 매개변수의 기울기를 구한다.  그럼 코드를 보도록 하겠다. import sys , os sys.path.append(os.pardir) from common.functions import * from common.gradient import numerical_gradient class TwoLayer: # 초깃값 초기화 def __init__ ( self , inputs , hiddens , outputs , w= 0.01 ): # 딕셔너리 선언 self .params = {} #KEY 값으로 값 설정           self .params[ 'W1' ] = w * np.random.randn(inputs , hiddens) self .params[ 'b1' ] = np.zeros(hiddens) self .params[ 'W2' ] = w * np.random.randn(hiddens , outputs) self .params[ 'b2' ] = np.zeros(outputs) # 예측 진행 -(foward) def pre ( self , x): w1 , w2 = self .params[ 'W1' ] , self .params[ 'W2' ]
자세한 내용 보기

퍼셉트론(Perceptron)

이미지
 딥러닝의 기본이 근원이 되는 알고리즘으로 가장 기본적인 알고리즘이다. 간단히 설명하면 입력값 X에 가중치 w를 곱해서 합한 값을 임계값으로 판단해 다음으로 넘겨주는 실제로도 엄청 간단한 알고리즘이다.  기본적인 식은 다음과 같다.  입력값 X1, X2가 각각 가중치 w1, w2를 가진다고 하고 임계값을 세타라 두고 임계값에 따라 각각 다른 동작을 하게 된다. 밑의 식은 임계값에 따라 0 또는 1을 출력하는 가장 기본적인 퍼셉트론의 식이다.  (참고: 이 퍼셉트론은 간단한 몇개의 gate로도 구현이 가능하다) 그러나 위 식에서 임계값을 따로 처리하는것은 불편하다. 그래서 임계값을 넘겨줘 하나의 값(b)로 계산한다. 우리는 이걸 편향(bias)이라고 부른다.  그러나 이런 퍼셉트론은 단일로써는 선형성을 띄기 때문에 보완점이 필요하다. 지금부터 우리는 다층 퍼셉트론과 신경망에 대해 말하도록 하겠다. 다층 퍼셉트론은 비선형성을 띄게 만들 수 있으며 이는 XOR게이트를 구현 할 수도 있다. 그리고 '적절히' 배치를 잘 한다면 '이론적으로는' 컴퓨터를 다층 퍼셉트론을 통해 구현할 수 있다. 하지만 이는 매우 많은 시간과 노력이 필요하고 매우 비효율적이다.  그래서 신경망이라는 것을 알아보자  신경망은 값이 입력되는 입력층, 값이 출력되는 출력층 뿐만이 아니라 보이지 않고 계산을 진행하는 중간층(은닉층)으로 구성되어 있다. 그리고 신경망의 퍼셉트론과 다른점은 바로 활성화 함수(activation function)이다. 활성화 함수는 다음 포스팅에서 다루도록 하겠다. 
자세한 내용 보기

[논문리뷰] 3. CNN에 대하여

이미지
논문명: Going Deeper with Convolutions 논문저자: Christian Szegedy 외 다수  개요: 전체적으로는 기존의 CNN뿐만 아니라 사실상 모든 기계학습에서 나타나는 문제점인 '층을 깊게하여 학습할 경우 생기는 문제'에 대해 해결책을 제시하면서도 성능을 향상시킨 그런 논문이다.   1. 기존 구조의 문제점 기존의 구조에서는 학습의 깊이를 더욱 깊게 하기 위해 층을 늘리는 방식으로 진행한다. 하지만 층을 늘릴수록 계산해야하는 파라미터의 개수가 기하급수적으로 늘어난다.  위의 예시 표와 같이 매우 간단한 148*148 형태의 input이 단 3개의 계층만 거쳐도 147584개의 파라미터가 필요하게 된다. 그럼 만일 더 큰 형태로 수많은 층을 구현한다고 하면 엄청난 수의 파라미터가 필요할 것이고 이는 CPU,GPU가 발달한 현재에서도 쉽지 않은 일이다.  또한 단순하게 심층 구조를 이용할 경우 위의 파라미터의 과한 갯수와 맞물려 오버피팅이 일어나기 쉽다는 특성을 가지고 있다.  그리고 본 논문에서는 이에 대한 해답으로 희소구조 + 완전 연결 계층의 사용을 언급한다. (희소구조란? 조밀한 구조의 반대로 실제로 사용되지 않는(무언가를 표현하지 않는 데이터가 대부분인)데이터가 많은 데이터 구조를 이야기 한다.  예시로 희소행렬은  0     0     1     0     5     0        0     0     0     0     0     0     0     0     0     0     0     1     0     0     0     0     0     0 0     1     0     0     0     0 같은 형태를 띄고 있다.) 하지만 희소구조 역시 문제점을 가지고 있다. 바로 연산 시 매우 비효율적으로 진행된다는 점이다. 따라서 희소행렬을 사용하면 compress할 필요가 있다.  2. 구조 설명 위쪽은 기본적인 Inception구조이고 아래쪽은 1X1 합성곱을 적용해 차원을 낮춘 구조이다
자세한 내용 보기