코딩하는 신학생의 넋두리

Hierarchical Attention Networks for Document Classification Abstract 우리는 문서 분류(Document Classification)을 위하여 계층적인 Attention Network를 제안한다. 우리의 모델은 두 가지 특징을 가지고 있다. (1) 우리의 모델은 계층적인 구조를 가지고 있는데 이 구조는 문서의 계층적인 구조를 모방하고 있다. (2) 우리의 모델은 두 레벨(단어단위, 문장단위)의 attention 메커니즘을 가지고 있다. 이러한 attention 메커니즘은 문서를 표현 할 때 중요한 내용과 덜 중요한 내용을 구분 할 수 있게 도와준다. tlfgjadms 6개의 큰 규모를 가지고 있는 text classification task에 대하여 진..

본 포스팅은 바라가브 스리니바사 디지칸, 『자연어처리와 컴퓨터언어학』, 마창수 역, 에이콘을 참고하여 만들어졌습니다. http://acornpub.co.kr/book/nlp-computational-linguistics 1. 토픽 모델링의 이해 토픽 모델은 텍스트에서 특정 토픽에 관한 정보를 포함하고 있는 확률 모델, 토픽은 텍스트에서 표현하고 있는 아이디어나 주제를 말한다. 예를 들어 뉴스 기사의 말뭉치를 다루고 있다면 가능한 주제는 날씨, 정치, 스포츠, 경제 등이 될 것이다. 왜 텍스트 처리 영역에서 토픽 모델이 중요할까? 전통적으로 IR과 검색 기술은 유사성과 관계성을 식별하기 위해 단어를 이용한다. 이제 단어 대신 토픽을 이용해 광법위하게 검색하고 파일을 정리할 수 있다. 하지만 토픽이 의미하는..

본 포스팅은 『텐서플로2와 머신러닝으로 시작하는 자연어처리』를 참고하여 만들어졌습니다. https://wikibook.co.kr/nlp-tf2/ 사이킷런(scikit-learn)은 파이썬용 머신러닝 라이브러리다. 머신러닝 기술을 활용하는 데 필요한 다양한 기능을 제공하며, 파이썬으로 머신러닝 모델을 만들 수 있는 최적의 라이브러리이다. 라이브러리를 구성하는데 대부분의 모듈들이 통일된 인터페이스를 가지고 있어 간단하게 여러 기법을 적용할 수 있으며, 쉽고 빠르게 원하는 결과를 얻을 수 있다. 지도 학습 모듈에는 나이브 베이즈(Naive Bayes), 의사결정 트리(Decision Trees), 서포트 백터 머신(Support Vector Machines) 모델 등이 있다. 비지도 학습 모듈에는 군집화(Cl..