네이버, 글로벌 자연어처리 학회서 ‘검색 기술’ 논문 채택

네이버가 자연어처리(NLP)학회 ‘EMNLP 2024’에서 검색 기술 관련 정규 논문이 채택됐다고 18일 밝혔다.

EMNLP는 NAACL과 함께 자연어처리 분야에서 글로벌 최고 AI 학회로 꼽힌다. AI 번역과 챗봇, 기계 독해 등 언어 데이터 기반 자연어처리 접근법에 대한 연구를 다룬다. 

EMNLP 2024는 11월 12일부터 16일까지 미국 플로리다에서 진행되며, 네이버는 이 자리에서 검색 기술 관련 연구를 포함해 채택된 논문 4건을 발표할 예정이다.

특히 네이버는 이번 연구 성과를 실제 네이버 검색 서비스에 직간접적으로 활용해 검색 품질과 사용성을 높이는 등 서비스 가치 창출과 연구의 실효성 측면에서 의미를 더했다.

네이버 생성형 AI 검색 서비스 ‘큐(CUE):’에 적용된 알고리즘에 대한 연구 논문이 채택됐다. 해당 연구는 SLM을 사용하는 모듈식 접근법을 통해, 유해 질의를 탐지하고 적절한 답변을 제공할 수 있는 학습 메커니즘을 다룬 연구이다.

연구 성과를 지난해 11월 큐:에 적용해 안전한 생성형 AI 검색 환경을 제공하고 있다. 향후 해당 기술을 활용해 검색 결과의 적합성 판단력을 높이고, 신뢰도 높은 출처의 답변을 상단에 노출하는 등 검색 서비스 품질을 강화하는데 활용할 예정이다.

또한 ‘지식스니펫’ 서비스에서 정보를 추출할 때, 텍스트 뿐만 아니라 리스트와 테이블 등 복잡한 형태의 스니펫(정보)까지 AI가 효과적으로 처리하는 기술을 제안했다. 지식스니펫은 통합검색 결과 상단에 검색어와 연관된 정보를 요약해서 제공하는 서비스다.

해당 기술은 내년 상반기 적용을 목표로 하고 있다. 롱테일 질의(길고 복잡한 검색어)에도 정확히 답변하는 비율을 높여 사용자가 원하는 정보를 빠르게 확인할 수 있도록 성능을 높이는데 기여할 예정이다.

LLM의 문서 랭킹 능력을 sLLM에 이식시켜 검색 서비스에 적용하는 방법에 관한 논문도 채택됐다.네이버는 논문에서 소개된 모델을 지난 6월 통합검색 서비스에 적용해 롱테일 질의의 맥락에 더 적합한 문서를 결과로 제공할 수 있게 됐다. 기술 적용 후 문서 클릭률(CTR)이 4.3%, 체류시간이 3% 증가하는 등 효과를 거뒀다.

김광현 네이버 검색·데이터 플랫폼 부문장은 “이번 연구를 통해 국내 검색 시장을 선도해온 기술을 세계 무대에서도 인정받은 것”이라며 “앞으로도 개선된 검색 정확도와 생성형 AI 실험을 바탕으로 사용자들에게 최적화된 검색 결과를 제공할 수 있는 경쟁력 있는 서비스를 지속 선보일 것”이라고 말했다.