RNN - 딥러닝을 이용한 문서 분류(1)

💡딥러닝을 활용하면 사람이 문장을 읽을 때처럼, 단어 순서를 반영해 문맥을 이해할 수 있습니다.
특히, RNN은 문장을 이해하기 위해 단어의 순서를 고려하는 가장 직관적인 모형이라고 할 수 있습니다.
(1)편에서는 RNN을 이해하고 (2)편에서는 이를 활용해 문서를 분류하는 과정을 살펴보도록 하겠습니다.

RNN의 이해

왜 RNN일까?

먼저 RNN에 대해 알아보겠습니다. 왜 RNN을 자연어 처리에 사용할까요? 

BOW와 같은 카운트 기반의 문서 표현은 문서에 있는 단어들의 통계를 통해 문서의 내용을 이해하려는 시도라고 할 수 있습니다.

반면에, 딥러닝은 사람이 책을 읽는 것처럼 단어의 순서를 반영해 문맥을 이해하는 방식으로 작동합니다.

특히 순환신경망이라고 부르기도 하는 Recurrent Neural Network, 즉 RNN은 문장을 이해하기 위해 단어의 순서를 고려하는 가장 직관적인 모델입니다. 

 

RNN이란?

RNN은 시계열 데이터를 다루기 위한 모형입니다. 

시계열 데이터란 시간에 따른 기온 변화, 그리고 주가 변화처럼 시간에 따라 값이 변하는 데이터를 말합니다.

RNN은 과거의 정보를 현재에 반영해 학습하도록 설계되어있습니다. 이 컨셉을 통해 시간 순서로 나열된 데이터를 학습합니다.

 

RNN의 구조

 

RNN을 그림으로 표현하면 위와 같습니다.

x는 입력층의 입력 벡터, y는 출력층의 출력 벡터입니다.

가운데 초록색 부분은 RNN에서 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드입니다.

은닉층의 노드가 출력층 방향으로 또는 다음 시점의 자신에게 보내는 값을 hidden state, 은닉 상태라고 합니다.

다시 말해, t 시점의 노드는 t-1 시점의 노드가 보낸 은닉 상태값을 t 시점의 은닉 상태 계산을 위한 입력값으로 사용합니다.

즉, 은닉층에 있는 노드들은 각각의 시점에서 바로 이전 시점에서의 은닉층의 노드에서 나온 값을 자신의 입력으로 사용하는 recurrent, 재귀적 활동을 하고 있습니다.

 

RNN의 구조를 좀 더 자세히 살펴보겠습니다.

현재 시점 t 에서의 은닉 상태값을 h(t)라고 정의하겠습니다.

은닉층의 h(t)를 계산하기 위해서 총 2개의 가중치를 갖게 됩니다.

하나는 입력층에서 입력값을 위한 가중치 W(x)이고, 하나는 이전 시점 t-1 의 은닉 상태값인 h(t-1)을 위한 가중치 W(h)입니다.

은닉층의 h(t)는 각 시점의 가중치(W(x), W(h))와 입력값(x(t), h(t-1))을 곱한 값들과 편향값 b를 더한 값을 tanh 함수에 대입한 값으로 구할 수 있습니다.

 

이 때 활성화 함수로 tanh 함수를 사용하는 이유는 RNN이 학습을 하면서 역전파 과정에서, 과거로 올라가면 올라갈수록 경사 소실이 생기면서 먼 과거의 정보를 현재에 전달하기 어려운데 이 문제를 최대한 예방하기 위해서 tanh 함수를 사용합니다.

출력층은 활성화 함수 중 하나를 선택하면 됩니다.

 

sigmoid 함수와 tanh 함수, 두 활성함수를 비교해보겠습니다. 

위 그림 속 주황색 그래프가 미분값의 그래프입니다.

두 함수의 미분값을 보면 sigmoid 함수는 미분 최대값이 0.3보다 작은 것에 비해 tanh 함수의 미분 최대값은 1로, sigmoid 함수보다 미분 최대값이 상대적으로 크다는 사실을 알 수 있습니다. 즉, sigmoid 함수의 경우 곱셈이 거듭되면서 경사 소실 문제가 생길 가능성이 상대적으로 크기 때문에 tanh 함수를 사용하는 것이 경사 손실을 방지하는데 유리하다고 할 수 있습니다.

 

RNN은 이와 같이 입력과 출력의 길이를 다르게 설계할 수 있으므로 다양한 용도로 사용할 수 있습니다.

예를 들어, 하나의 입력에 대해서 여러 개의 출력이 있는 모델은 하나의 이미지 입력에 대해서 사진의 제목을 출력하는 이미지 캡셔닝 작업에 사용할 수 있습니다. 문서의 감성 분류는 '다 대 일 모델'의 활용 예시입니다. '다 대 다 모델'의 경우에는 입력 문장으로부터 대답 문장을 출력하는 챗봇과 입력 문장으로부터 번역된 문장을 출력하는 번역기 같은 작업이 포함됩니다. 

 

RNN이 문서 분류에 적합한 이유

쭉 설명한 것처럼, RNN은 앞에서부터 순차적으로 미치는 영향을 계속 축적하는 모델입니다. 

사람이 문맥을 이해하는 것도 이와 유사합니다. 상대방이 하는 말을 순차적으로 들으면서 의미를 이해하기 때문입니다.

문맥은 단어들의 순서를 통해서 형성되는데 RNN은 구조 상 이와 같은 문맥을 파악하기에 좋은 모형입니다.

 

워드 임베딩의 이해

이제 문서 분류를 위해 단어를 RNN 모형에 입력으로 사용하려면, 단어와 같은 범주형 데이터를 수치로 변환해야하기 때문에 단어를 원-핫 벡터로 표현하고 다시 짧은 길이의 밀집 벡터로 변환해야합니다. 여기서 원-핫 벡터와 밀집 벡터가 무엇일까요?

 

원-핫 인코딩 (One-hot Encoding)

원-핫 인코딩은 단어 집합의 크기를 벡터의 차원으로 하고, 표현하고 싶은 단어의 인덱스에 1의 값을 부여하고, 다른 인덱스에는 0을 부여하는 단어의 벡터 표현 방식입니다. 이렇게 표현된 벡터를 원-핫 벡터(One-hot vector)라고 합니다. 그리고 벡터의 값이 대부분 0으로 표현되기 때문에 원-핫 인코딩을 희소 표현, 원-핫 벡터를 희소 벡터라고 합니다. 

만약 Rome, Paris, Italy, France를 각각 1, 2, 3, 4로 변환하면 Rome과 Paris 사이의 거리는 1이지만 Rome과 France 사이의 거리는 3이 됩니다. 이렇게 데이터 간의 잘못된 거리가 생성되기 때문에 원-핫 인코딩을 사용해 데이터 간의 거리를 모두 1로 동일하게 만들어줍니다. 하지만 단어의 개수가 늘어날수록 벡터를 저장하기 위해 필요한 공간이 계속 늘어난다는 점과 단어 사이에는 분명 어떤 유사도가 존재하는데, 원-핫 벡터의 코사인 유사도는 항상 0이기 때문에 유사도를 표현하지 못한다는 단점이 있습니다.

 

밀집 표현 (Dense Representation)

밀집 표현이란, 앞에서 원-핫 인코딩을 희소 표현이라고 했는데 사용자가 설정한 값으로 모든 단어의 벡터 표현의 차원을 맞추며 이 과정에서 0과 1값이 아닌 실수값을 갖는 표현을 말합니다. 그림과 같이 위에는 희소 벡터로, 하나의 값만 1을 갖고 나머지가 0인 반면 아래의 밀집 벡터는 0과 1 사이의 실수값을 갖는 것을 볼 수 있습니다.

 

워드 임베딩 (Word Embedding)

앞에서 설명한 원-핫 벡터를 밀집 벡터로 표현하는 것을 워드 임베딩이라고 합니다.

임베딩을 하게 되면, 원-핫 벡터의 단점이었던 비효율적인 벡터의 크기를 효율적으로 만들어줄 수 있습니다.

또한 단어 간의 의미적 유사도를 계산할 수 있습니다.

세 번째로, 이 벡터들을 통해 단어들을 더하고 빼는 연산을 할 수 있습니다. 예를 들어, '한국 - 서울 + 도쿄' 이런 식으로 단어를 가지고 연산을 하게 되면 '일본'이 나오는 연산을 가능하게 합니다. 마지막으로, 워드 임베딩은 전이학습을 가능하게 합니다. 전이학습은 기존에 학습된 모형을 새로운 환경에서 재사용함으로써 학습의 속도와 효과를 높이는 방법입니다.

 

박상언, 강주영, 정석찬, <파이썬 텍스트 마이닝 완벽 가이드>, 위키북스 
를 공부하며 정리한 내용입니다.