구글 클라우드 행사에서 생성형 AI 적용사례 발표AI 도입 과정에서 기술적 도전과 해결책 제시언론사 등 산업별 특성 맞춤 AI 서비스 구축
  • ▲ ⓒ뉴데일리 김성현 기자
    ▲ ⓒ뉴데일리 김성현 기자
    GS네오텍이 언론사에 생성형 AI 뉴스 검색 시스템을 구축하는 등 다양한 산업별 생성형 AI 적용 사례를 확보하고 있다.

    GS네오텍은 8일 구글 클라우드 데이 행사에 참여해 ‘뉴스가 AI를 만났을 때: 생성형 AI 검색의 모든 것’을 주제로 발표했다. 김민형 GS네오텍 AI 리서치 엔지니어는 국내 언론사와 공동 구축한 실제 사례를 중심으로 생성형 AI 뉴스 검색 시스템을 구현해 낸 솔루션을 소개했다.

    언론사 입장에서 생성형 AI를 뉴스 검색 시스템에 적용하는 데는 다양한 고민들이 있었다. AI가 생성한 답변에 대한 신뢰성 문제부터 ▲생성형 AI 모델 중 어떤 것을 사용할 지 ▲반복적으로 발생하는 이벤트 중 시의성 있는 답변은 어떻게 만들지 ▲기사에 적시된 오늘과 어제 등 상대적인 시점에 대한 문제 등이 해결할 과제로 제시됐다.

    외부 지식을 검색해 답변을 개선하는 기술로 RAG(검색 증강 생성)를 적용하기 위해 구글의 ‘버텍스 AI 서치’를 활용했다. 버텍스 AI 서치는 구글 클라우드에서 제공하는 완전관리형 기업용 검색과 생성형 AI 서비스다. 사용자 데이터를 기반으로 한 검색 결과와 자연어 답변을 제공하며 신뢰성 문제를 해결했다.

    답변에 대한 정확도를 높이기 위해 생성형 AI 제미나이의 대표 모델 플래시·프로 중 프로를 선택했다는 설명이다. 김 엔지니어는 “퍼블릭 서비스다보니 레이턴시(지연 시간)을 생각하지 않을 수 없다”며 “다만 통찰력과 밀도있는 좋은 답변을 제공하기 위해 프로 모델을 선택했다”고 덧붙였다.

    언론 환경에 맞게 고도화한 방안은 ‘리랭킹(re-ranking)’으로 제시했다. 거대언어모델이 답변하는 데 있어 특정 기준에 대한 가중치를 부여하는 방식이다. 기술적으로 이를 구현하는 데는 버텍스 AI 서치 내 자체적으로 지원하는 ‘부스트 스펙’ 옵션이 적용됐다.

    예를 들어 ‘올림픽 순위 알려줘’라는 프롬프트에 대해 질문 시점을 고려해 최신 사건 순으로 답변하는 식이다. 부스트 스펙을 적용하기 전에는 시간순과 무관하게 1996년에 개최된 애틀란타 올림픽 등이 답변에 우선 표출됐다. 부스트 스펙을 적용하면 가장 최근에 발생한 2024 파리 올림픽부터 과거 올림픽을 적용한 결과값을 도출한다.

    기사 특성상 한 달 전의 기사에도 명시된 ‘오늘’ 또는 ‘어제’ 등의 시점을 구분하는 것은 LLM에게 있어서 환각 현상을 일으키는 요소로 작용한다. LLM은 관련 질의에 처음 결과물을 가져올 때 오늘자 기사라고 인식할 수 있다는 것이다.

    특정 시점과 관련된 질문이 들어올 때 날짜와 관련된 키워드를 인식하는 AI 에이전트를 거치게 했다. 김 엔지니어는 “버텍스 AI 서치에 데이터베이스를 구축할 때 메타 데이터로 기술 발행 시간을 같이 넣고 추출된 날짜 값을 토대로 필터링을 하는 것”이라고 언급했다.

    또한 환각 현상을 방지하고 신뢰성있는 답변을 위해 다양한 프롬프트 디자인이 적용됐다. 프롬프트 디자인은 생성형 AI모델이 원하는 방식으로 결과를 생성하도록 질문이나 명령어를 구성하는 기술을 의미한다.

    예를 들어 특정 인물 관련 질문에서는 검색 결과에서 추출된 인물과 정확하게 동일한 인물인지 판별한다. 홍길동 회장과 관련된 논란과 사건사고를 알려달라고 했을 때, 동일 인물이 없다는 것을 인지한 생성형 AI 모델은 답변 말미에 해당 내용이 문제가 있을 수 있음을 상기시킨다. 오래된 정보를 최신 정보로 암시하지 않고 과거 정보와 최신의 관련성을 명확히 구분하는 시점 인식에 대한 부분도 프롬프트 디자인을 통해 해결했다.

    해당 언론사는 생성형 AI 검색을 도입한 지 6개월 만에 다양한 지표가 개선되는 효과를 거뒀다. 검색 경험이 개선되며 이용량은 8% 증가했고, 검색 만족도가 높아지며 키워드 검색 대비 재검색률이 3분의 1 수준으로 줄었다. 검색 과정에서 앞서 발행한 콘텐츠에 대한 가치가 재발견되며 과거 기사 소비도 15% 늘어났다.

    김 엔지니어는 “최초 시도였던 만큼 참고할만한 사례가 거의 없어서 구현하는 데 많은 어려움이 있었다”며 “미디어 본질을 강화하고 새로운 비즈니스를 창출하고자 하는 언론사의 비전이 있었기 때문에 가능했다고 생각한다”고 말했다.