♣ 언어모델(Language Model) 언어라는 현상을 모델링하고자 단어 시퀀스(문장)에 확률을 할당하는 모델을 의미한다. 언어 모델을 만드는 방법은 크게 1) 통계를 이용한 방법 과 2) 인공 신경망을 이용한 방법으로 구분할 수 있다. 최근에는 통계를 이용한 방법보다는 인공 신경망을 이용한 방법이 더 좋은 성능을 보여준다. 언어 모델은 가장 자연스러운 단어 시퀀스를 찾아내는 모델이다. 단어 시퀀스에 확률을 할당하기 위해서 가장 보편적으로 사용하는 방법은 언어 모델이 이전 단어들이 주어졌을 때 다음 단어를 예측하도록 하는 것이다. 주어진 양쪽의 단어들로부터 가운데 비어있는 단어를 예측하는 언어 모델도 있다. 이는 문장의 가운데에 있는 단어를 비워놓고 양쪽의 문맥을 통해서 빈 칸의 단어를 맞추는 추론 문..

앞서 소개한 형태소와 문장 토크나이징 도구들인 KoNLPy와 KSS(Korean Sentence Splitter)와 함께 유용하게 사용할 수 있는 한국어 전처리 패키지를 정리해보자 ♣ PyKoSpacing PyKoSpacing 은 띄어쓰기가 되어 있지 않은 문장을 띄어쓰기한 문장으로 변환하는 패키지이다. 대용량 코퍼스를 학습하여 만들어진 띄어쓰기 딥러닝 모델로, 준수한 성능을 가진다. ♣ Py-Hanspell Py-Hanspell은 네이버 한글 맞춤법 검사기를 바탕으로 만들어진 패키지이다. 이 패키지는 맞춤법만이 아니라 띄어쓰기도 보정한다. https://github.com/ssut/py-hanspell/issues/41 py-hanspell spell_checker.check 사용 시 KeyError:..

자연어 처리는 일반적으로 토큰화, 단어 집합 생성, 정수 인코딩, 패딩, 벡터화의 과정을 거친다. 여기서는 이러한 전반적인 과정에 대해 이해한다.  ♣ 토큰화(Tokenization)주어진 텍스트를 단어 또는 문자 단위로 자르는 것을 토큰화라고 한다. 영어의 경우, 토큰화를 사용하는 도구로서 대표적으로 spaCy와 NLTK가 있다.  우선 영어에 대해 토큰화 실습을 해보자.   1.  spaCy 사용하기  2. NLTK 사용하기    3. 띄어쓰기로 토큰화 영어의 경우, 띄어쓰기 단위로 토큰화를 해도 단어들 간 구분이 상당히 명확하기 때문에 토큰화 작업이 수월하다. 하지만 한국어의 경우에는 토큰화 작업이 훨씬 까다롭다. 한국어는 조사, 접사 등으로 인해 단순 띄어쓰기 단위로 나누면 같은 단어가 다른 단어..

텍스트 전처리에서 정규 표현식은 아주 유용한 도구이다. 파이썬에서 지원하는 정규 표현식 모듈 re의 사용방법과 NLTK를 통한 정규 표현식을 이용한 토큰화에 대해 알아보자.  ♣ 정규 표현식 문법과 모듈 함수1. 정규 표현식 문법 정규 표현식을 위해 사용되는 문법 중 특수 문자들은 아래와 같다.  정규 표현식 문법에는 역 슬래쉬(|)를 이용하여 자주 쓰이는 문자 규칙들이 있다.  2. 정규 표현식 모듈 함수정규 표현식 모듈에서 지원하는 함수는 아래와 같다.  앞으로 진행될 실습에서는 re.compile( )에 정규 표현식을 컴파일하고, re.search( )를 통해서 해당 정규 표현식이 입력 텍스트와 매치되는지를 확인하면서 각 정규 표현식에 대해 이해한다. re.search( )는 매치된다면 Match ..

갖고 있는 데이터에서 유의미한 단어 토큰만을 선별하기 위해서는 큰 의미가 없는 단어 토큰을 제거하는 작업이 필요하다. 큰 의미가 없는 단어 토큰이란 자주 등장하지만 분석을 함에 있어서는 큰 도움이 되지 않는 단어들을 의미한다. 예를 들면 I, my, me, over, 조사, 접미사 같은 단어들은 문장에서는 자주 등장하지만 실제 의미 분석을 하는 데는 거의 기여하는 바가 없다. 이런 단어들을 불용어(stopword)라고 하며, NLTK에서는 위와 같은 100여개 이상의 영어 단어들을 패키지 내에서 불용어로 미리 정의한다.  불용어를 개발자가 직접 정의할 수도 있다. 영어 문장에서 NLTK가 정의한 영어 불용어를 제거하는 실습을 해보자.  ♣ NLTK에서 불용어 확인하기  ♣ NLTK를 통해서 불용어 제거하..

코퍼스에서 용도에 맞게 토큰을 분류하는 작업을 토큰화(tokenization)이라고 하며, 토큰화 작업 전, 후에는 텍스트 데이터를 용도에 맞게 정제(cleaning) 및 정규화(normalization)하는 일이 함께한다. 정제 및 정규화의 목적은 다음과 같다.  1. 정제(cleaning): 갖고 있는 코퍼스로부터 노이즈 데이터를 제거한다. 2. 정규화(normalization): 표현 방법이 다른 단어들을 통합시켜서 같은 단어로 만든다.  정제 작업은 토큰화 작업에 방해가 되는 부분들을 배제시키고 토큰화 작업을 수행하기 위해서 토큰화 작업보다 앞서 이루어지기도 하지만, 토큰화 작업 이후에도 여전히 남아있는 노이즈들을 제거하기위해 지속적으로 이루어지기도 한다.  ♣ 규칙에 기반한 표기가 다른 단어들의..