카카오엔터프라이즈는 오픈도메인 자연어 질의문에서 비명시적인 의미자질을 고려하는 질문초점^{Question Focus}¹ 기반 질의문 유형 분류 기준을 제시했습니다. 이 기준에 따라 구축된 112,856개 문장의 주석 말뭉치를 학습한 기계학습(CNN) 문장 분류 시스템은 F1-Score 97.72% 성능을 보였습니다. 카카오 오픈도메인 질의응답시스템에 질의문 확장을 위한 의미 자질에 사용한 실험에서도 전체 시스템의 성능을 1.6%p 끌어올렸습니다.

카카오엔터프라이즈는 주석 말뭉치의 반자동 확장에 활용하는 등 자사 질의응답 시스템의 성능을 높이기 위한 연구를 지속할 계획입니다.

전체 구조

질의문 내에서 질문 초점을 잘 보여주는 어휘 범주는 의문사로, 보통 이들은 질의문 유형을 분류하는 핵심 키워드로 사용된다. 그러나 자연어 질의문의 모든 경우에 있어 의문사가 질의문 유형을 명시적으로 결정짓는 것은 아니다. 따라서 한국어 자연어 질의문 분류는 의문사를 활용한 단순 키워드 기반의 분류 방식으로 접근해서는 안 되고, 의문사 외의 비명시적인 의미자질을 충분히 고려해야 할 것이다.

이에 한국어 자연어 질의문 분석을 바탕으로 기계 학습 기반의 질의문 분류기의 성능 향상에 기여할 수 있는 질의문 유형 분류 기준을 정의하고, 이를 활용해 실제 쓰임을 잘 보여주는 112,856개의 질문 문장을 포함하는 주석 말뭉치를 구축하였다. 이는 다양한 형태와 의미의 자연어 질의문을 고려한 심도있는 언어학적 고찰이라는 점에서 의의가 크다.

실험

이 말뭉치가 실제 시스템 성능 향상에 영향을 주는지 확인하기 위하여 Convolutional Neural Network(CNN)를 이용하는 기계학습 기반의 문장 분류기를 사용하여 주어진 질의문을 육하 원칙 중 하나로 분류하는 모델을 구축하였다.

[표 1]은 두 시스템의 성능 평가 결과이며 질문 초점 기반 질의문 분류 말뭉치를 적용한 시스템의 성능은 97.72%의 상당히 높은 결과를 보였다. 반면 키워드 기반의 Baseline 시스템의 결과는 77.77%를 보였다. 이 실험 결과를 토대로, 본 논문에서 제시한 분류 방법론으로 구축된 주석 말뭉치가 기계 학습 기반의 시스템 성능 향상에 도움을 주고 있음을 확인할 수 있었다.

[ 표 1 ] 문장 분류기 성능 비교

본 연구의 효용성을 좀 더 입증하기 위해 ‘카카오 오픈 도메인 한국어 질의응답시스템’에 이를 적용하여 보았다. 이 시스템은 사용자 질의가 주어졌을 때 해당 질의로 웹 검색 후, 검색된 문서를 기계 독해를 통해 분석하고, 이를 통합하여 사용자에게 정답으로 제시한다. 이 과정에서 질의문의 육하원칙 분류 결과는 웹 검색을 위한 쿼리 확장으로 사용된다. 앞서 실험에서 결정했던 키워드 기반의 Baseline 시스템과 본 연구에서 제안한 질문 초점 기반 분류 방식의 시스템을 질의응답시스템에 적용하여 성능을 비교한 결과 1.6%p 더 나은 성능을 확인했다.

[ 표 2 ] ‘카카오 오픈 도메인 질의응답 시스템’ 성능 비교

각주

자연어 질문에서 사용자가 궁금해하는 대상을 지창한다. ↩

NLP

오픈도메인 질의문 자동 분류를 위한 주석 말뭉치 구축 연구

한글 및 한국어정보처리 학술대회

2019-10-11

전체 구조

실험

각주