10월 첫번째 정기 모임

SQuAD팀은 데이터 분석, 임베딩, 모델 3파트로 나눠 연구를 진행하였습니다. 파트를 나눠 다양한 관점에서 접근하니 좀 더 체계적이고 활발한 활동을 이끌어 낼 수 있는 좋은 시간이었습니다. 5시까지 빠듯하게 진행하였으나 시간 및 여건 상 이번에 발표하지 못한 분들은 Slack을 통해 온라인으로 정보 공유하기로 하였습니다.

1. 모델 파트 -. 유성 Transformer : Attention Is All You Need에서 발표한 Self-Attention 메카니즘을 활용한 Seq-to-Seq 인코더-디코더의 모델 작동원리 및 이론에 대해 연구한 내용을 발표하였습니다. ! 주요 핵심 내용 : 마지막 hidden state만 활용 Rnn 구조 탈피 다양한 정보로 연산하여 디코딩 성능을 높임, 어텐션 구조 변경에 따른 다양한 활용 방안(어텐션, 인코더, 디코더) -. 전은광 Hyperbolic Attention Networks : 구글 딥마인드에서 발표한 3차원 비유클리드 방식의 임베딩 방법을 활용한 어텐션 네트워크에 대해 발표하였습니다. ! 주요 핵심 내용 : 기존 유클리드 방식의 임베딩 방법의 문제점이었던 차원이 늘어남에 따라 계산량이 증가하는 문제를 획기적으로 줄임, 임베딩 방법은 쉬우나 해당 정보로 연산하려면 많은 연구 필요 -. 홍권일 SQuAD attention 종합 : word-by-word, Memory Network,Bi-DAF, QANet, r-net, Fusion Network 등의 사용된 Attention을 종합하여 발표하였습니다. ! 주요 핵심 내용 : einsum 표기법 소개, Bi-DAF : 그물망 어텐션, QANet : 공동 정보로 어텐션 스코어 구성, r-net : 공유된 가중치와 어텐션 정보의 통과량, Fusion Net : 단어 정보의 역사를 찾아서

2. 데이터 파트 -. 남윤상 : QANet의 논문을 번역하고 모델을 분석하여 활용 방안에 대한 연구를 하였으며, 구조 변경 없이는 추천에 활용하기 어려운 점, 뉴스 팩트 체크에 대한 아이디어를 제시하였습니다. 한글 모델 구성과 관련하여 미리 학습된 Glove 없다는 점, 케릭터 임베딩에 단어 길이 수정 제시 -. 박산희 : 연구 목적 내 만들어야 할 데이터량에 대한 문제, 기사 요약 모델 형태로의 활용에 대한 아이디어, 성향 분석으로의 활용에 대한 어려운 점을 제시하였습니다. 뉴스 빅데이터 분석 연구 동향 공유 : https://brunch.co.kr/@daeminpark/50

3. 임베딩 파트

-. 서인석 Glove : word2vec 임베딩 방법 중 Glove에 대한 연구한 내용을 발표하였습니다.

! 주요 핵심 내용 : 단어 다음 나올 확률에서 동시 등장 확률을 감안이 word2vec과 다름

SQuAD팀은 이후 연구 방향에 대해 아래와 같이 논의하였습니다.

1. 데이터 파트 : 2안 도출하여 투표로 선정 예정

-. 시멘틱 태깅과 요약을 활용한 추천안(박산희) 기사의 문단을 인풋I으로 함축적 질문Q에 대한 답변A을 제공해서 요약정보를 제공하는 서비스 구성 -. QA를 활용한 팩트 체크(남윤상) 한글 SQuAD 데이터 셋과 임베딩을 활용하여 QANet을 트레이닝한 후 질문Q를 만들고 이에 나온 답변A들을 활용해 뉴스 기사에서 일어난 사건들의 사실 여부를 확인할 수 있도록 서비스 구성

2. 임베딩 파트 : 가능한 임베딩에 대한 내용 논의를 진행함 -. 한글로 미리 학습된 FastText or Elmo 임베딩 활용 (Glove : 한글 없음, Hyperbolic 계열 : 모델 구성 어려움) -. 서비스 구성안에 대한 투표가 완료되면 구성안에 맞게 분석하여 구체적 임베딩 방법에 대한 선정 예정 3. 모델 파트 : 서비스 구현에 대한 가능 여부를 검토함 -. 서비스 구성안에 대한 투표가 완료되면 구성안에 맞게 사용할 모듈에 대한 논의 예정