CNN 이미지 분류 모델을 이용한 논문 리뷰.2

이전 포스트와 이어지는 포스트입니다. 

기존 논문에서 3X3 필터 2개를 사용한 경우 5X5 필터와 비슷한 효과를 가지며

3X3 필터 3개를 사용하였을 경우 7X7 필터를 적용한 효과를 가진다. 라고 언급했다.

또한 비선형적인 측면에서 층이 깊어져서 더욱 풍부한 효과를 누릴 수 있다. 라고 언급하였다. 

따라서 이전 포스팅에서 언급한 모듈을 이용하여 실험을 하였다. 각 결과는 다음과 같다. 

1. 3X3 필터 2개의 경우


약 92%의 정확도를 보였다.


2. 5X5 필터 1개의 경우 

약 88%의 정확도를 보였다.

3. 3X3 필터 3개의 경우

약 94%의 정확도를 보였다.

4. 7X7 필터의 경우 

약 92%의 정확도를 보였다.

결론
기존의 논문에서 언급한 것처럼  3X3 필터가 층을 쌓으면 충분히 또는 그 이상의 효과를 내는 것을 확인하였다. 또한 더 적은 파라메터의 개수와 더 풍부하게 비선형성을 가진다는 장점 또한 있다고 할 수 있다. 하지만 파라메터 개수를 줄이는데만 급해 레이어를 대폭 늘리면 연산 속도가 느려질 수도 있다는 단점도 분명히 존재한다.

추가 실험 결과 
5X5와 7X7 필터의 경우 패팅의 옵션에서 'SAME'(기존 크기 강제 유지)과 'VAILD'(유효한 부분만 정리) 중 VAILD가 더 나은것으로 반대로 3X3필터는 'SAME'이 더 정확도가 높게 나왔다. 이는 개인적인 추론이지만 
1. 사진의 크기가 작아 고급 필터 적용시 남는 부분이 너무 많다.
2. 반대로 3X3 필터의 경우 패딩에 큰 상관이 없다.
3. 따라서 INPUT 크기에 따라 다르겠지만 고급 필터의 경우 'VAILD'가 작은 필터의 경우 'SAME'이 더욱 효과적일 것이라 생각한다.




댓글

댓글 쓰기

이 블로그의 인기 게시물

MongoDB와 VScode 이용한 드라이빙app 개발 일지 (2022.4.10)

 1. 카카오 API 사용을 통한 토큰 발급  일단 카카오 로그인을 구현하려면 카카오에서 제공하는 api를 이용해야 했다.  https://developers.kakao.com/docs/latest/ko/message/rest-api 공식 카카오톡 api 문서이다. 이전에 말했던 대로 우리는 사업자 등록이 5월로 예정되어있어 아직 카카오톡으로 전화번호 등 몇몇 필요한 정보를 가져올 수는 없었다.  따라서 카카오톡 선택 요구 정보를 프로필, 성별, 이메일로 한 후 토큰 발급을 실행했다.  전체적인 프로세스는 다음과 같았다. (첫 등록일 경우) 첫 등록 확인 - join 등록, 카카오톡에 인증 요청 - 카카오톡 토큰 발급 완료시 - 토큰 처리해 - 필요 정보 확인 후 자동 회원가입  (기존 사용자의 경우) 기존에 등록 확인 - kakao login 등록 - 카카오톡 로그인 -  인증 완료시 프로젝트 로그인 토큰 발급까지 연동 첫 등록의 경우 기존의 회원가입 미들웨어를 이용함과 동시에 위의 카카오 api를 이용하여 새로운 엔드포인트를 만들었다.  기존 사용자의 경우 조금 복잡하게 구현하다 카카오에서 발급 받은 토큰에서 정보를 읽어 기존의 사용자인지 확인하는 미들웨어를 짜고 구현해두었던 로그인 토큰 발급과 연결해서 새로운 엔드 포인트를 만드는 방식으로 해결하였다. 2. 벡엔드 관리, 보수  기존의 sms send 모듈에 관련하여 네이버 api 계정의 등록자 변경관련 논의와 현재 있는 미들웨어들의 표시형식 통일, 중복 부분 수정 등의 작업을 따로 진행했다. 또한 카카오톡 로그인 구현 중 로그인 에러가 나와 그것 또한 수정했다. 3. 개발환경  개발은 github,VScode, postman, mongoDB를 활용해 진행하고 있으며 특히 카카오 Api를 실험하는데 가상으로 토큰을 발급받고 인증하는 것이 가능한 postman이 큰 도움이 되었다. 4. 팀을 떠나며  초기에 아무것도 없는 상태에서 여러가지 미들웨어를 만들기도 했고 처음 만져보는 기술들을 사용해보기도 했다.
자세한 내용 보기

다양한 계층 구현을 통한 오차역전파법 구현하기(2)

 저번에 포스팅을 이어서 하도록 하겠다. 이번 포스팅할 코드는 오차 역전파법을 이용해 2층 신경망 클래스의 구현이다. 다만 실제 학습하는 것은 생략하고 각각의 구현에 대해서 설명하도록 하겠다. 일단 먼저 구현하는 코드를 보기 전에 이 코드에 들어가는 함수들에 대해 설명하겠다. 1. sigmoid: 시그모이드 함수를 구현한 것이다. 2. softmax: 소프트맥스 함수를 구현한 것이다. 3. cross_entropy_error: 교차앤트로피 오차를 구현한 것이다. 4. numerical_gradient: 가중치 매개변수의 기울기를 구한다.  그럼 코드를 보도록 하겠다. import sys , os sys.path.append(os.pardir) from common.functions import * from common.gradient import numerical_gradient class TwoLayer: # 초깃값 초기화 def __init__ ( self , inputs , hiddens , outputs , w= 0.01 ): # 딕셔너리 선언 self .params = {} #KEY 값으로 값 설정           self .params[ 'W1' ] = w * np.random.randn(inputs , hiddens) self .params[ 'b1' ] = np.zeros(hiddens) self .params[ 'W2' ] = w * np.random.randn(hiddens , outputs) self .params[ 'b2' ] = np.zeros(outputs) # 예측 진행 -(foward) def pre ( self , x): w1 , w2 = self .params[ 'W1' ] , self .params[ 'W2' ]
자세한 내용 보기