Mecab과 Keras를 이용한 뉴스 말뭉치 구분 모델 구현.1 (NLP)

AI의 지도학습에는 크게 두 가지가 있다. 바로 분류(Classification)와 회귀(Regression)이다.

간략하게 설명하자면 들어온 input 자료들을 일정 기준으로 나누는 건 분류 들어온 자료들을 통해 다음 데이터를 예측하는 방식을 회귀라고 생각하면 편하다. 그리고 이번 포스트에서는 뉴스 말뭉치(말 자료들)을 이용하여 뉴스가 어느 분류에 속하는지에 분류하는 모델을 구현해 보겠다. 

모델의 구현에 들어가기 전 미리 알아두어야 할 것들을 먼저 소개하겠다.

1. LSTM, RNN에 대하여 

 https://soobarkbar.tistory.com/74

본 포스팅에서 사용할 것은 LSTM 모델이다. 기존의 신경망의 단점을 보완한 것이라고 생각하면 편하다. 위의 블로그를 방문해서 공부하는 것을 추천한다.


2. Mecab 우리말 형태소 분석기 (은전한닢)

http://eunjeon.blogspot.com/

은전한잎이라는 우리말 형태소 분석기다. konlpy 기반으로 제작되었다고 하며 형태소 단위로 분류하는 것이 가능하게 만들어 준다. 다양한 종류의 분석기 중 은전한잎을 사용하겠다. 설치방법, 파일등은 위 사이트를 이용하기 바란다.


3. 케라스 API

https://keras.io/api/

본 포스팅에서 사용될 API들이다. 미리 학습하면 포스팅을 이해하는데 큰 도움이 된다.


4. 자연어 처리 

https://www.sas.com/ko_kr/insights/analytics/what-is-natural-language-processing-nlp.html

자연어 처리 (NLP)에 대한 내용이다. 

본 모델의 이야기이기 때문에 기본적으로 알아야 하는 내용들이다.


5. 감성분류 예제 (추가학습)

 https://wikidocs.net/44249

네이버 영화 리뷰를 긍정:1 부정:0 으로 라벨링한 데이터를 이용해 학습을 진행하고 구현하는 방법을 알려주는 블로그 포스트이다. 이번 포스트와 많은 차이가 있지만 미리 한번 학습하면 본 포스트를 이해하는데 많은 도움이 된다. 


1. 데이터 준비

일단 학습과 모델링에 사용할 말뭉치 데이터를 얻어야 한다. 이전에는 많이 얻을 수 있었지만 요즘은 국립국어원에서 사용 출처를 작성하고 승인을 받으면 여러 말뭉치를 받을 수 있다.  

https://corpus.korean.go.kr/main.do#none

위에 접속하여 필자는 2020 신문 말뭉치를 신청해 다운받았고 newsdata 밑에 압축을 풀었다.

제일 먼저 한 일은 데이터의 상태를 확인하는 것이 였다. 데이터는 TXT형태일 것이라는 예상과는 다르게 다중 리스트 형태의 Josn 파일 형태로 구성되어있었다. 

 


따라서 이를 딥러닝에 이용하기 위한 몇 가지 정제과정이 필요했다.


2. 데이터 정제

기본적으로 사용할 라이브러리를 import 했다.

import json
from eunjeon import Mecab
from tqdm import tqdm
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences
from tensorflow.keras.layers import Embedding, Dense, LSTM
from tensorflow.keras.models import Sequential
tokenizer = Mecab()

또한 토큰화 모듈을 은전한닢의 Mecab을 이용했다.

tqdm은 실행중인 작업을 가시적으로 보여주기 위한 모듈이다.

데이터를 정제하기 전 일단 데이터를 저장한 곳에서 IDE로 불러와야 했다.  코드는 다음과 같았다.

json_file = "./newsdata/NIRW2000000001.json"
with open(json_file, encoding="utf8") as j:
    content = json.loads(j.read())

utf8 방식을 이용해 불러 파일을 읽어 들었다.

2.1 개인 실패 사례

가장 먼저 데이터를 어떤 식으로 분류시켜 학습 시킬지 고민했다. 이때 metadata 안쪽의 key값으로 topic이 있는 것을 확인했고 이를 이용한 분류를 진행하기 위해 크게 3가지 정치 경제 생활로 나누어 이용해 보기로 했다. 따라서 json 파일의 특정 값에 접근을 하였고 각각에서 조건문을 걸어 gove, econ, life 리스트에 형태소를 분석한 것들을 넣기로 했다. 따라서 그 코드는 다음과 같았다. 

for i in tqdm(range(100)):
    topic = content['document'][i]['metadata']['topic']
    if(topic == '생활'):
        for j in range(len(content['document'][i]['paragraph'])):
            token = tokenizer.morphs(content['document'][i]['paragraph'][j]['form'])
            clean = [word for word in token if not word in stopwords]
            life.append(clean)

for i in tqdm(range(100)):
    topic = content['document'][i]['metadata']['topic']
    if(topic == '경제'):
        top
        for j in range(len(content['document'][i]['paragraph'])):
            token = tokenizer.morphs(content['document'][i]['paragraph'][j]['form'])
            clean = [word for word in token if not word in stopwords]
            econ.append(clean)

for i in tqdm(range(100)):
    topic = content['document'][i]['metadata']['topic']
    if(topic == '정치'):
        for j in range(len(content['document'][i]['paragraph'])):
            token = tokenizer.morphs(content['document'][i]['paragraph'][j]['form'])
            #clean = [word for word in token if not word in stopwords]
            gove.append(token)

 위의 코드를 통해 각각 형태소로 분리된 리스트 값을 얻었다. 다음은 각각의 형태소들을 숫자로 1대1 매칭시켜 학습에 사용될 수 있도록 했다. 

tokenizerr.fit_on_texts(gove)
topic_train = tokenizerr.texts_to_sequences(gove)
textdata_train = pad_sequences(textdata_train, maxlen=170)

다음 코드는 정치 파트의 학습 데이터를 정수 시퀸스로 매칭하는 코드와 매칭된 데이터의 길이 조절과 패딩을 진행하는 코드이다. 이때 최대 길이는 len()함수를 이용해 길이를 확인해 진행했다. 

[간략 설명

나/는/ 너/와/ 밥/을 /먹/었다

1,2, 3,4, 5,6 7,8

이렇게 변환 했을때 

너/가 밥/을/ 먹/다 라는 문장은 

3,9, 5,6, 7,10 로 바꿀수 있으며 컴퓨터는 이를 통해 NLP학습이 가능해진다. ]

  

결과는 다음과 같이 나왔다. 

각각 분리된 형태소가 정수와 매칭되어 사용가능한 형태로 변환 된 것을 확인할 수 있었다. 

2.1.1 문제점

이제 학습에 들어가려고 하던 중 3가지 큰 문제점을 발견했다. 

1. 라벨링 데이터와의 연결 

각각 데이터를 학습할 때 앞서서 분류를 한 것이 문제였다. 이렇게 진행되면 모델링에서 학습을 진행할 때 모두 같은 라벨링을 가질 수 밖에 없었다.

2. 라벨링 데이터와 문단 데이터 간의 갯수 차이

문제를 정리한 그림이다. 각각 한 문장으로 나뉘어져있기 때문에 라벨링 데이터값보다 훨씬 많은 데이터 값이 생겼고 이는 우측처럼 변경이 필요했고 반복문의 변경이 필요했다.

3.  라벨링 데이터 문제 
라벨링 데이터가 일부를 제외하고는 [0] 으로 되는 문제가 발견되어 수정이 필요했다.

2.1.2 문제 해결

1. 라벨링 데이터를 나누지 않고 전체적으로 하나로 묶어 입력 받았다. 따라서 newtext라는 하나의 리스트에 종류를 가리지 않고 본문 데이터를 불러들였고, topics라는 리스트에는 라벨링을 분류해 학습을 시작했다.
 
2. 데이터를 읽어들이는 for문을 수정했다. 좌측처럼 데이터 형태 수정을 위해 for문을 수정했다. 

1,2번 문제를 해결한 코드는 다음과 같다.  

for i in tqdm(range(100)):
    for j in range(len(content['document'][i]['paragraph'])):
        token = tokenizer.morphs(content['document'][i]['paragraph'][j]['form'])
        texttoken.append(token)

    newtext.append([element for array in texttoken for element in array])


for i in tqdm(range(100)):
    token = tokenizer.morphs(content['document'][i]['metadata']['topic'])
    topics.append(token)

3. 라벨링 데이터 문제는 정수로 인베딩할때 두 값을 연동시킨 결과였다. 즉 본문을 정수로 변환한 상태에서 연동하여 주제도 변환하려고 해 본문에 없던 단어가 주제였을 경우 [0]으로 표기되는 것이였다. 따라서 따로 주제와 본문을 인베딩하여 문제를 해결했다. 

tokenizerr.fit_on_texts(topics)
topic_train = tokenizerr.texts_to_sequences(topics)

tokenizerr.fit_on_texts(newtext)
textdata_train = tokenizerr.texts_to_sequences(newtext)

textdata_train = pad_sequences(textdata_train, maxlen=170)
topic_train = pad_sequences(topic_train, maxlen=1)

이제 학습을 위한 데이터가 모두 준비되었다. 이제 모델 구현은 다음 포스트에 이어서 진행하겠다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

다양한 계층 구현을 통한 오차역전파법 구현하기(2)

 저번에 포스팅을 이어서 하도록 하겠다. 이번 포스팅할 코드는 오차 역전파법을 이용해 2층 신경망 클래스의 구현이다. 다만 실제 학습하는 것은 생략하고 각각의 구현에 대해서 설명하도록 하겠다. 일단 먼저 구현하는 코드를 보기 전에 이 코드에 들어가는 함수들에 대해 설명하겠다. 1. sigmoid: 시그모이드 함수를 구현한 것이다. 2. softmax: 소프트맥스 함수를 구현한 것이다. 3. cross_entropy_error: 교차앤트로피 오차를 구현한 것이다. 4. numerical_gradient: 가중치 매개변수의 기울기를 구한다.  그럼 코드를 보도록 하겠다. import sys , os sys.path.append(os.pardir) from common.functions import * from common.gradient import numerical_gradient class TwoLayer: # 초깃값 초기화 def __init__ ( self , inputs , hiddens , outputs , w= 0.01 ): # 딕셔너리 선언 self .params = {} #KEY 값으로 값 설정           self .params[ 'W1' ] = w * np.random.randn(inputs , hiddens) self .params[ 'b1' ] = np.zeros(hiddens) self .params[ 'W2' ] = w * np.random.randn(hiddens , outputs) self .params[ 'b2' ] = np.zeros(outputs) # 예측 진행 -(foward) def pre ( self , x): w1 , w2 = self .params[ 'W1' ] , self .params[ 'W2' ]
자세한 내용 보기

퍼셉트론(Perceptron)

이미지
 딥러닝의 기본이 근원이 되는 알고리즘으로 가장 기본적인 알고리즘이다. 간단히 설명하면 입력값 X에 가중치 w를 곱해서 합한 값을 임계값으로 판단해 다음으로 넘겨주는 실제로도 엄청 간단한 알고리즘이다.  기본적인 식은 다음과 같다.  입력값 X1, X2가 각각 가중치 w1, w2를 가진다고 하고 임계값을 세타라 두고 임계값에 따라 각각 다른 동작을 하게 된다. 밑의 식은 임계값에 따라 0 또는 1을 출력하는 가장 기본적인 퍼셉트론의 식이다.  (참고: 이 퍼셉트론은 간단한 몇개의 gate로도 구현이 가능하다) 그러나 위 식에서 임계값을 따로 처리하는것은 불편하다. 그래서 임계값을 넘겨줘 하나의 값(b)로 계산한다. 우리는 이걸 편향(bias)이라고 부른다.  그러나 이런 퍼셉트론은 단일로써는 선형성을 띄기 때문에 보완점이 필요하다. 지금부터 우리는 다층 퍼셉트론과 신경망에 대해 말하도록 하겠다. 다층 퍼셉트론은 비선형성을 띄게 만들 수 있으며 이는 XOR게이트를 구현 할 수도 있다. 그리고 '적절히' 배치를 잘 한다면 '이론적으로는' 컴퓨터를 다층 퍼셉트론을 통해 구현할 수 있다. 하지만 이는 매우 많은 시간과 노력이 필요하고 매우 비효율적이다.  그래서 신경망이라는 것을 알아보자  신경망은 값이 입력되는 입력층, 값이 출력되는 출력층 뿐만이 아니라 보이지 않고 계산을 진행하는 중간층(은닉층)으로 구성되어 있다. 그리고 신경망의 퍼셉트론과 다른점은 바로 활성화 함수(activation function)이다. 활성화 함수는 다음 포스팅에서 다루도록 하겠다. 
자세한 내용 보기

[논문리뷰] 3. CNN에 대하여

이미지
논문명: Going Deeper with Convolutions 논문저자: Christian Szegedy 외 다수  개요: 전체적으로는 기존의 CNN뿐만 아니라 사실상 모든 기계학습에서 나타나는 문제점인 '층을 깊게하여 학습할 경우 생기는 문제'에 대해 해결책을 제시하면서도 성능을 향상시킨 그런 논문이다.   1. 기존 구조의 문제점 기존의 구조에서는 학습의 깊이를 더욱 깊게 하기 위해 층을 늘리는 방식으로 진행한다. 하지만 층을 늘릴수록 계산해야하는 파라미터의 개수가 기하급수적으로 늘어난다.  위의 예시 표와 같이 매우 간단한 148*148 형태의 input이 단 3개의 계층만 거쳐도 147584개의 파라미터가 필요하게 된다. 그럼 만일 더 큰 형태로 수많은 층을 구현한다고 하면 엄청난 수의 파라미터가 필요할 것이고 이는 CPU,GPU가 발달한 현재에서도 쉽지 않은 일이다.  또한 단순하게 심층 구조를 이용할 경우 위의 파라미터의 과한 갯수와 맞물려 오버피팅이 일어나기 쉽다는 특성을 가지고 있다.  그리고 본 논문에서는 이에 대한 해답으로 희소구조 + 완전 연결 계층의 사용을 언급한다. (희소구조란? 조밀한 구조의 반대로 실제로 사용되지 않는(무언가를 표현하지 않는 데이터가 대부분인)데이터가 많은 데이터 구조를 이야기 한다.  예시로 희소행렬은  0     0     1     0     5     0        0     0     0     0     0     0     0     0     0     0     0     1     0     0     0     0     0     0 0     1     0     0     0     0 같은 형태를 띄고 있다.) 하지만 희소구조 역시 문제점을 가지고 있다. 바로 연산 시 매우 비효율적으로 진행된다는 점이다. 따라서 희소행렬을 사용하면 compress할 필요가 있다.  2. 구조 설명 위쪽은 기본적인 Inception구조이고 아래쪽은 1X1 합성곱을 적용해 차원을 낮춘 구조이다
자세한 내용 보기