코딩하는 신학생의 넋두리

이 책의 목표는 시맨틱 웹으로 작업하는 데 필요한 도구를 제공하는 것이다. 사실 W3C에서 추상 구문(abstract syntax), 모델 기반 의미론(model based semantics), 참조 구현(reference implementations), 테스트 케이스(test case) 등 시맨틱 웹 언어에 대한 권고안을 제공하고 있다. 이 도구들 역시 다른 도구처럼 기본 도구와 훨씬 더 전문화된 도구로 나눌 수 있다. 이 책은 기본 도구를 사용해 시맨틱 웹 시스템을 구축하는 기술을 설명한다. 이를 통해 이해하기 쉽고 유용하고 내구성이 있고 아름다운 시맨틱 모델(온톨로지)을 어떻게 만드는지 보여줄 것이다. 1.1 웹이란? 1945년 바네바 부시는 방대한 문서 모음과 문서 간의 연결을 관리하는데 문제가 ..

0. 핵심 내용 3줄 요약 1. 기존 Transformer based Model은 Input sequence의 길이가 제한되어 있어서 Dialogue같은 Long Text를 요약하는데 어려움이 있다. 2. Dialogue(Long Text)를 요약하기 위해서 1) Longformer 2) retrieve-then-summarize pipline 3)hierarchical dialogue encoding models such as HMNet 이 제안 되었다. 3. 위 세 모델에 대하여 QMSum, MediaSum, SummScreen 데이터셋으로 실험을 했을 때 retrieve-then-summarizae pipline이 가장 좋은 성능을 보였다. 이에 더하여 강력한 retrueval model과 추가적인..

Hierarchical Attention Networks for Document Classification Abstract 우리는 문서 분류(Document Classification)을 위하여 계층적인 Attention Network를 제안한다. 우리의 모델은 두 가지 특징을 가지고 있다. (1) 우리의 모델은 계층적인 구조를 가지고 있는데 이 구조는 문서의 계층적인 구조를 모방하고 있다. (2) 우리의 모델은 두 레벨(단어단위, 문장단위)의 attention 메커니즘을 가지고 있다. 이러한 attention 메커니즘은 문서를 표현 할 때 중요한 내용과 덜 중요한 내용을 구분 할 수 있게 도와준다. tlfgjadms 6개의 큰 규모를 가지고 있는 text classification task에 대하여 진..

Siamese Recurrent Architectures for Learning Sentence Similarity Mueller, J., & Thyagarajan, A. (2016, March). Siamese recurrent architectures for learning sentence similarity. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 30, No. 1). Abstract 우리는 LSTM을 이용한 siamese adaptation에서 다양한 길이의 쌍으로 이루어진 라벨링 데이터 처리에 대하여 발표한다. 우리의 모델은 문장의 의미적 유사성을 구하는 것에 적용된다. 여기에서 우리는 섬세하게 수작업으로 특..

Sequence to sequence learning with neural networks Sequence to Sequence Learning with Neural Networks Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this pap arxiv.org Abstract Deep Nural Networks(..

Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling Abstract 본 논문에서는 다양한 타입의 RNN을 비교한다. 특히, LSTM과 GRU같이 gating machanism을 갖고 있는 RNN에 집중한다. polyphonic music modeling과 speech signal modeling을 해당 RNN을 이용하여 평가하였다. 실험결과 advanced RNN은 전통적인 RNN보다 나은 성능을 보였으며 또한, GRU는 LSTM과 견줄만한 성능을 보였다. 1. Introduction RNN은 input과 output에서 다양한 길이를 가지고 있는 machine learning task에서 좋은 성능을 보였다. 특히 최..

Distributed Representations of Words and Phrases and their Compositionality Abstract 최근 소개된 Skip-gram 모델은 단어의 Syntactic, Sementic 관계를 효율적으로 표현 할 수 있는 모델이다. 본 논문에서는 벡터의 퀄리티와 training의 속도를 향상시키는 방안에 대하여 논의한다. 자주 사용되는 word에 대한 subsampling을 통해 상당한 속도 향상과 더욱 규칙적인 단어 표현을 할 수 있게 되었다. 또한 계층적인 softmax의 대안을 제시한다. 기존의 단어 표현의 한계는 단어 순서에 대한 표현과 관용구의 표현이 불가능하다는 것이었다. 가령, 'Canada'와 'Air'의 의미는 쉽게 결합되지 못 하고, 'Ai..

Efficient Estimation of Word Representations in Vector Space 0. 들어가는 말 word2vec으로 잘 알려진 두 편의 논문 중 한 편입니다. 기존에 Neural NET Language Model과 Recuurnct Neural Net Languege Model 기반의 Word Representations의 시간복잡도를 분석하고 보다 더 효과적인 Word Representation 방법인 CBoW와 Skip-Gram을 제안하고 있습니다. 가장 인상적인 부분은 본 논문에서 제시하는 단어 표현의 방법으로 king - man + woman = queen 이러한 연산이 가능하다는 것입니다. 1. Introduction 현재(논문 발표 당시 2013년) NLP 시스템..