[언론보도] 인간보다 똑똑한 구글 인공지능 ‘BERT’, 어떤 특징 있을까

출처: http://www.kidd.co.kr/news/206319

[산업일보] 지난 11월, 구글이 공개한 인공지능 언어모델 ‘BERT(이하 버트, Bidirectional Encoder Representations from Transformers)’는 일부 성능 평가에서 인간보다 더 높은 정확도를 보이며 AI 연구자들의 ‘도전 정신’을 자극했다.

20일, 서울 스퀘어 위워크(We Work)에서 한국인공지능연구소가 주최한 ‘딥러닝 자연어처리+챗봇’을 주제로 한 세미나에서는 소프트웨어 개발 업체인 인라이플(enliple)의 연구원들이 연사로 참여해 버트의 기술적 차이점을 소개하고, 버트에 적용된 인공지능 알고리즘을 함께 실습해보는 자리가 마련됐다.

인라이플 AI 기획팀의 홍권일 팀장은 “버트는 2017년 구글의 연구진이 개발한 ‘셀프 어텐션’ 바탕의 인코더인 ‘트랜스포머’로 구성된 양방향 언어표현”이라고 운을 뗀 뒤, “버트는 자연어 처리 분야에서 뜨거운 이슈를 불러일으켰는데, 최종 레이어 한 층의 변경을 통해 자연어 처리 업무에서 최첨단의 성능을 달성한다는 점에서 모두를 놀라게 했다”라고 말했다.

발표에 따르면, ‘셀프 어텐션’은 단어 간의 연간 관계를 파악하는 기술로, 단어의 특징 정보를 가지고 있는 피처(feature)를 몇 개의 조각으로 나눠 진행한다면 좀 더 효과적으로 연관 관계 정보를 얻을 수 있다.

홍권일 팀장은 버트의 접근법을 ▲피처 기반의 접근법 ▲파인 튜닝 접근법으로 나눠 설명했다.

홍 팀장은 “이미지를 분류해 카테고리를 뽑아내는 종류에서는 나쁘지 않은 성능 향상을 보여 온 ‘피처 기반의 접근법’은 미리 학습된 가중치의 단어별 특징을 뽑아 학습에 사용하는 방식”이라며 “또한 다른 분야에서 미리 학습시킨 가중치를 불러와 미세 조정하는 ‘파인 튜닝 접근법’은 영상처리 분야에서 많이 사용됐지만, 2018년 들어 자연어 처리에서도 많이 나타나기 시작했다”라고 설명했다.

“버트는 기존 인공지능 학습법을 혁신적으로 바꿨다”라고 강조한 홍 팀장은 “구글은 약 33억 개의 입력 데이터를 가지고 각각 50%의 연관 문장 연관성 없는 문장을 무작위로 추출하는 훈련을 통해 이어질 문장과의 연관성을 찾는 ‘다음 문장 예측’ 학습과 양방향 맥락을 고려해 문장에서 정해진 비율(15%)의 무작위 단어를 마스크 하며 마스킹 된 단어를 맞추는 훈련인 ‘Masked 언어 모델’ 훈련을 진행했다”라고 부언했다.

자료에 따르면, 버트의 베이스 모델은 12개의 트랜스포머 레이어, 768개의 특징을 잡는 피처 사이즈를 보유하고 있으며, 라지 모델은 24개의 트랜스포머 레이어, 1천24개의 피처 사이즈를 특징으로 한다.

그는 “다국어 모델보다는 단일 모델일 때 성능이 약간 더 좋다”라며 “하지만 안타깝게도 한국어 버전의 버트는 아직 없다. 또한 구글이 오픈소스로 제공하고 있는 다국어 서비스는 라지 모델이 아닌 베이스 모델을 기반으로 한다”라고 덧붙였다.

최수린 기자 sr.choi@kidd.co.kr