오버피팅

 머신러닝을 진행하다보면 후년데이터에 너무 적응해 그외에 시험 데이터는 좋지 못한 정답을 보여주는 경우가 있는데 이걸 오버피팅이라고 말합니다. 이번 포스팅에서는 그런 오버피팅을 해결하는 몇가지 방법을 알아보겠습니다.

1. 가중치 감소(weight decay)

 큰 가중치는 큰 영향을 미치며 이는 오버피팅으로 들어갈 확률이 높아집니다. 그래서 우리는 이런 가중치에 크기에 비례하는 패널티를 부과하는 방식으로 오버피팅을 방지할 수 있는데 이를 가중치 감소라고 합니다. 가중치 감소에서는 가중치의 양만큼 소실함수에 더해주는 방식으로 진행됩니다. 이러면 손실함수를 최소로 유지하려는 머신러닝의 목적과 가중치가 증가되는 가중치 감소의 메커니즘이 서로 상쇄되면서 가중치를 적당한 값으로 유지하고 이는 오버피팅을 막을 수 있습니다. 

2. 드롭아웃(Dropout)

가중치가 분명히 중요한 역할을 하는 것은 맞습니다만 신경망 모델이 복잡해지면 복잡해질 수록 가중치 감소만으로는 점점 대응하기 어려워집니다. 이럴 경우 사용하는 방법이 바로 드롭아웃입니다. 드롭아웃은 말 그대로 복잡한 신경망에서 몇몇 노드를 인위적으로 드롭아웃(제외)시키는 방법으로 오버피팅을 방지한다. 

보통 구현은 순전파시 삭제할 뉴런의 값을 false로 표기하고 사용하는 방법을 이용하고 역전파시에도 동일하게 적용한다. 

댓글

댓글 쓰기

이 블로그의 인기 게시물

MongoDB와 VScode 이용한 드라이빙app 개발 일지 (2022.4.10)

 1. 카카오 API 사용을 통한 토큰 발급  일단 카카오 로그인을 구현하려면 카카오에서 제공하는 api를 이용해야 했다.  https://developers.kakao.com/docs/latest/ko/message/rest-api 공식 카카오톡 api 문서이다. 이전에 말했던 대로 우리는 사업자 등록이 5월로 예정되어있어 아직 카카오톡으로 전화번호 등 몇몇 필요한 정보를 가져올 수는 없었다.  따라서 카카오톡 선택 요구 정보를 프로필, 성별, 이메일로 한 후 토큰 발급을 실행했다.  전체적인 프로세스는 다음과 같았다. (첫 등록일 경우) 첫 등록 확인 - join 등록, 카카오톡에 인증 요청 - 카카오톡 토큰 발급 완료시 - 토큰 처리해 - 필요 정보 확인 후 자동 회원가입  (기존 사용자의 경우) 기존에 등록 확인 - kakao login 등록 - 카카오톡 로그인 -  인증 완료시 프로젝트 로그인 토큰 발급까지 연동 첫 등록의 경우 기존의 회원가입 미들웨어를 이용함과 동시에 위의 카카오 api를 이용하여 새로운 엔드포인트를 만들었다.  기존 사용자의 경우 조금 복잡하게 구현하다 카카오에서 발급 받은 토큰에서 정보를 읽어 기존의 사용자인지 확인하는 미들웨어를 짜고 구현해두었던 로그인 토큰 발급과 연결해서 새로운 엔드 포인트를 만드는 방식으로 해결하였다. 2. 벡엔드 관리, 보수  기존의 sms send 모듈에 관련하여 네이버 api 계정의 등록자 변경관련 논의와 현재 있는 미들웨어들의 표시형식 통일, 중복 부분 수정 등의 작업을 따로 진행했다. 또한 카카오톡 로그인 구현 중 로그인 에러가 나와 그것 또한 수정했다. 3. 개발환경  개발은 github,VScode, postman, mongoDB를 활용해 진행하고 있으며 특히 카카오 Api를 실험하는데 가상으로 토큰을 발급받고 인증하는 것이 가능한 postman이 큰 도움이 되었다. 4. 팀을 떠나며  초기에 아무것도 없는 상태에서 여러가지 미들웨어를 만들기도 했고 처음 만져보는 기술들을 사용해보기도 했다.
자세한 내용 보기

다양한 계층 구현을 통한 오차역전파법 구현하기(2)

 저번에 포스팅을 이어서 하도록 하겠다. 이번 포스팅할 코드는 오차 역전파법을 이용해 2층 신경망 클래스의 구현이다. 다만 실제 학습하는 것은 생략하고 각각의 구현에 대해서 설명하도록 하겠다. 일단 먼저 구현하는 코드를 보기 전에 이 코드에 들어가는 함수들에 대해 설명하겠다. 1. sigmoid: 시그모이드 함수를 구현한 것이다. 2. softmax: 소프트맥스 함수를 구현한 것이다. 3. cross_entropy_error: 교차앤트로피 오차를 구현한 것이다. 4. numerical_gradient: 가중치 매개변수의 기울기를 구한다.  그럼 코드를 보도록 하겠다. import sys , os sys.path.append(os.pardir) from common.functions import * from common.gradient import numerical_gradient class TwoLayer: # 초깃값 초기화 def __init__ ( self , inputs , hiddens , outputs , w= 0.01 ): # 딕셔너리 선언 self .params = {} #KEY 값으로 값 설정           self .params[ 'W1' ] = w * np.random.randn(inputs , hiddens) self .params[ 'b1' ] = np.zeros(hiddens) self .params[ 'W2' ] = w * np.random.randn(hiddens , outputs) self .params[ 'b2' ] = np.zeros(outputs) # 예측 진행 -(foward) def pre ( self , x): w1 , w2 = self .params[ 'W1' ] , self .params[ 'W2' ]
자세한 내용 보기