활성화 함수(Acitvation function)과 Python을 통한 구현

활성화 함수는 비선형이여야(하나의 직선으로 표현이 불가능한) 그 의미가 있다 비선형적이 아니라면 층의 깊이를 깊게 하는 것이 의미가 없어진다. 즉 은닉층의 의미가 없어진다는 뜻이다. 

간단한 예제로 

y= 2x 를 활성화 함수로 사용한다고 하면 3층의 깊이로 만든다고 해도 2*2*2*x가 되버린다. 즉 3층의 깊이를 가지는 것처럼 보이지만 실제로는 8(2^3)*x인 하나의 층으로 표현된다. 따라서 활성화 함수는 비선형으로 되어야 하며 주로 사용되는 비선형 활성화 함수는 다음과 같다. 가장 먼저 계단함수이다(Step function).

계단함수는 매우 간단한 입력과 출력값을 가지며 그래프 또한 간단하다. 

matplotlib라이브러리와 numpy를 기본으로 해서 Step함수를 구현해 보도록 하겠다. 

import numpy as np
import matplotlib.pylab as plt


def step_f(x):
        return np.array(x>=0)

x = np.arange(-5.0, 5.0, 1)
y = step_f(x)

plt.plot(x,y)
plt.show()
이와 같이 구현하면 step함수를 구현 할 수 있다. 각각 사용할 라이브러리를 import한 후 
numpy의 arrange를 이용해 -5~5까지 1간격으로 넘파이 배열을 생성한 후 함수로 넘겨줘 각각의 원소에 대해 참or거짓 판단을 해 bool값으로 다시 넘겨주게 된다. 이때 필자는 사용하지 않았지만 astype 메서드를 이용해 bool값을 np.int값으로 변환해 주는 것을 추천한다. 이제 위 코드를 실행하면 

다음과 같이 나온다. 중간의 경사는 넘파이 배열의 간격을 더 좁게 하면 점점 줄어들 것이다.이 그래프에서 왜 '계단'함수라고 불리는지는 어렵지 않게 볼 수 있다. 특정한 값을 배경으로 값이 바뀌는 형태를 띄고 있기 때문이다. 
다음은 시그모이드 함수이다. 시그모이드 함수는 신경망에서도 LSTM에서도 자주 사용되는 활성화 함수이다.  시그모이드 함수의 식은 자연상수(e)를 이용해 표현되는데 
이다. 시그모이드 함수 역시 matplotlib와 numpy를 이용하여 구현해 보겠다.
import numpy as np
import matplotlib.pylab as plt


def sigmoid(x):
    return 1/(1+np.exp(-x))

x = np.arange(-5.0, 5.0, 0.1)
y = sigmoid(x)
plt.plot(x,y)
plt.show()
생각보다 간단하다. numpy에는 기본적으로 자연상수가 포함되어있기 때문에 쉽게 구현이 가능하다. 또한 이번에는 곡선의 매끄러움을 위해 위와는 다르게 간격을 0.1로 조정했다. 그리고 표현되는 그래프는 다음과 같다.

마지막으로는 ReLU 함수이다. 
최근에 신경망에서 주로 사용되는 함수인데 이는 기존의 시그모이드 함수가 '기울기 소실'이라는 큰 단점을 안고 있었기 때문에 새로 개발된 함수이다. 이 함수의 식은 간단하다. 
정말 놀랍도록 간단하다. 그냥 0보다 큰값은 본인을 return하고 그 외에는 0을 return한다. 
구현 역시 매우 간단하다.

import numpy as np
import matplotlib.pylab as plt

def ReLU(x):
        return np.maximum(0,x)

x = np.arange(-5.0, 5.0, 0.1)
y = ReLU(x)
plt.plot(x,y)
plt.show()
maxium함수를 이용해 구현했으며 그래프는 잘 나온다. 


활성 함수에 대한 이야기는 여기까지 하도록 하겠다.



댓글

댓글 쓰기

이 블로그의 인기 게시물

MongoDB와 VScode 이용한 드라이빙app 개발 일지 (2022.4.10)

 1. 카카오 API 사용을 통한 토큰 발급  일단 카카오 로그인을 구현하려면 카카오에서 제공하는 api를 이용해야 했다.  https://developers.kakao.com/docs/latest/ko/message/rest-api 공식 카카오톡 api 문서이다. 이전에 말했던 대로 우리는 사업자 등록이 5월로 예정되어있어 아직 카카오톡으로 전화번호 등 몇몇 필요한 정보를 가져올 수는 없었다.  따라서 카카오톡 선택 요구 정보를 프로필, 성별, 이메일로 한 후 토큰 발급을 실행했다.  전체적인 프로세스는 다음과 같았다. (첫 등록일 경우) 첫 등록 확인 - join 등록, 카카오톡에 인증 요청 - 카카오톡 토큰 발급 완료시 - 토큰 처리해 - 필요 정보 확인 후 자동 회원가입  (기존 사용자의 경우) 기존에 등록 확인 - kakao login 등록 - 카카오톡 로그인 -  인증 완료시 프로젝트 로그인 토큰 발급까지 연동 첫 등록의 경우 기존의 회원가입 미들웨어를 이용함과 동시에 위의 카카오 api를 이용하여 새로운 엔드포인트를 만들었다.  기존 사용자의 경우 조금 복잡하게 구현하다 카카오에서 발급 받은 토큰에서 정보를 읽어 기존의 사용자인지 확인하는 미들웨어를 짜고 구현해두었던 로그인 토큰 발급과 연결해서 새로운 엔드 포인트를 만드는 방식으로 해결하였다. 2. 벡엔드 관리, 보수  기존의 sms send 모듈에 관련하여 네이버 api 계정의 등록자 변경관련 논의와 현재 있는 미들웨어들의 표시형식 통일, 중복 부분 수정 등의 작업을 따로 진행했다. 또한 카카오톡 로그인 구현 중 로그인 에러가 나와 그것 또한 수정했다. 3. 개발환경  개발은 github,VScode, postman, mongoDB를 활용해 진행하고 있으며 특히 카카오 Api를 실험하는데 가상으로 토큰을 발급받고 인증하는 것이 가능한 postman이 큰 도움이 되었다. 4. 팀을 떠나며  초기에 아무것도 없는 상태에서 여러가지 미들웨어를 만들기도 했고 처음 만져보는 기술들을 사용해보기도 했다.
자세한 내용 보기

다양한 계층 구현을 통한 오차역전파법 구현하기(2)

 저번에 포스팅을 이어서 하도록 하겠다. 이번 포스팅할 코드는 오차 역전파법을 이용해 2층 신경망 클래스의 구현이다. 다만 실제 학습하는 것은 생략하고 각각의 구현에 대해서 설명하도록 하겠다. 일단 먼저 구현하는 코드를 보기 전에 이 코드에 들어가는 함수들에 대해 설명하겠다. 1. sigmoid: 시그모이드 함수를 구현한 것이다. 2. softmax: 소프트맥스 함수를 구현한 것이다. 3. cross_entropy_error: 교차앤트로피 오차를 구현한 것이다. 4. numerical_gradient: 가중치 매개변수의 기울기를 구한다.  그럼 코드를 보도록 하겠다. import sys , os sys.path.append(os.pardir) from common.functions import * from common.gradient import numerical_gradient class TwoLayer: # 초깃값 초기화 def __init__ ( self , inputs , hiddens , outputs , w= 0.01 ): # 딕셔너리 선언 self .params = {} #KEY 값으로 값 설정           self .params[ 'W1' ] = w * np.random.randn(inputs , hiddens) self .params[ 'b1' ] = np.zeros(hiddens) self .params[ 'W2' ] = w * np.random.randn(hiddens , outputs) self .params[ 'b2' ] = np.zeros(outputs) # 예측 진행 -(foward) def pre ( self , x): w1 , w2 = self .params[ 'W1' ] , self .params[ 'W2' ]
자세한 내용 보기