업스테이지가 포털 ‘다음’에 풀스택 소버린 AI 서비스를 선보인다. 업스테이지의 AI모델인 ‘솔라’를 기반으로 퓨리오사AI의 국산 NPU(신경망 처리 장치)를 통한 AI 검색 ‘AI 오버뷰’의 출시를 예고한 것. 풀스택 소버린 AI 서비스는 이번이 국내 최초라는 것이 회사 측 설명이다.
김성훈 업스테이지 대표이사는 15일 AI 협력사례에 대한 온라인 대담을 통해 포털 ‘다음’에 AI 검색 ‘AI 오버뷰’를 선보이고 ‘1인 1에이전트’를 제공하겠다는 포부를 밝혔다. 이날 대담에는 백준호 퓨리오사AI 대표, 이건수 AXZ 대표가 참여했다.
이날 시연한 ‘AI 오버뷰’의 핵심은 ‘다음’ 검색창에 질문을 입력하면 업스테이지의 AI모델 ‘솔라’를 기반으로 링크의 다발을 요약해주는 서비스다.
이 대표는 “‘AI 오버뷰’는 실시간 정보를 바탕으로 하기 때문에 항상 최신 정보가 중요한데 거대언어모델(LLM)은 사전에 학습된 지식과 예시로 준 것에서 요약을 해야 하기 때문에 환각을 일으키는 현상이 있었다”며 “이 환각을 제어하기 위해 ‘하네스 엔지니어링’을 특히 노력했다”고 말했다.
‘하네스 엔지니어링’은 AI가 지정된 목표를 안전하고 신뢰할 수 있게 완수할 수 있도록 실행 환경과 통제 시스템을 설계하는 기술이다. 그는 이어 “사용자들은 오래된 정보를 찾고 싶어 하지 않기 때문에 기존의 키워드 서치 방식과 벡터 서치라고 하는 그 방식을 조합을 해서 가장 정확한 최신의 문서를 찾아올 수 있도록 많은 실험을 거듭했다”며 “꽤 높은 품질을 저희가 담보할 수 있게 됐다”고 덧붙였다.
이 대표는 향후 쇼핑, 맛집 검색 등 버티컬로 확장하고 ‘다음’을 통해 개인화된 ‘1인 1에이전트’를 제공하겠다는 포부도 밝혔다. 예를 들어 최근 ‘다음’의 실시간 트렌드 1위로 올라선 ‘삼성전자 주가’에 대해서는 아예 주가와 경쟁사 뉴스까지 통합해 보여주는 에이전트를 구현하는 방식이다.
이 서비스의 가장 큰 특징은 AI의 작동 방식이다. 업스테이지는 ‘AI 오버뷰’ 서비스를 위해 엔비디아의 GPU 대신 퓨리오사AI의 NPU ‘레니게이드’를 도입했다. 인프라부터 모델, 실제 사용자가 체감하는 서비스까지 AI 전 영역을 국산 기술로 연결한 첫 풀스택 소버린 AI 사례가 된 것.
백 대표는 “현재 퓨리오사AI의 ‘레니게이드’가 업스테이지의 ‘솔라’ AI모델을 가속하기 위해 서버 3개 노드, 24개 정도의 칩이 투입돼 하루에 5억개 정도의 토큰을 처리하고 있다”며 “엔비디아의 GPU ‘h200’ 보다 훨씬 더 전성비와 가성비가 좋으면서도 대등한 성능을 내는 결과를 보여주고 있다”고 자신했다.
그는 이어 “이제 약속드릴 수 있는 것은 전체적인 비용 절감 효과를 보여주고 있다는 점”이라며 “우리가 목표로 하는 것은 엔비디아 GPU 대비 가격을 절반 이상으로 떨어뜨리는 것으로 충분히 절감할 수 있을 것으로 보고 있다”고 전망했다.
업스테이지 입장에서는 포털 ‘다음’에 ‘AI 오버뷰’를 도입하면서 발생하는 토큰 비용을 절감할 수 있다는 것이 강점이다.
김 대표는 “업스테이지의 ‘솔라’는 다음과 함께 해서 하루에 30B(300억개), 올해 300B(3000억개) 등 상당한 양을 쓰는데, 현재 비용이 30% 가량 절감하고 있고 앞으로 50% 이상 절감할 수 있다는 점에서 기대가 된다”며 “최적화가 끝난 게 아닌데도 (H200과) 유사한 성능이 나왔으니까 이제 최적화가 되면 더 성능이 높을 수도 있다”고 말했다.
이어 “우리가 만든 기술 더 많이 사용해달라”이라며 “‘다음’ AI 오버뷰를 사용해 주시면 ‘솔라’를 사용하는 것이고 그게 또 우리 NPU를 사용하는 것으로 선순환을 만들 수 있다”고 덧붙였다.
김성훈 업스테이지 대표이사는 15일 AI 협력사례에 대한 온라인 대담을 통해 포털 ‘다음’에 AI 검색 ‘AI 오버뷰’를 선보이고 ‘1인 1에이전트’를 제공하겠다는 포부를 밝혔다. 이날 대담에는 백준호 퓨리오사AI 대표, 이건수 AXZ 대표가 참여했다.
이날 시연한 ‘AI 오버뷰’의 핵심은 ‘다음’ 검색창에 질문을 입력하면 업스테이지의 AI모델 ‘솔라’를 기반으로 링크의 다발을 요약해주는 서비스다.
이 대표는 “‘AI 오버뷰’는 실시간 정보를 바탕으로 하기 때문에 항상 최신 정보가 중요한데 거대언어모델(LLM)은 사전에 학습된 지식과 예시로 준 것에서 요약을 해야 하기 때문에 환각을 일으키는 현상이 있었다”며 “이 환각을 제어하기 위해 ‘하네스 엔지니어링’을 특히 노력했다”고 말했다.
‘하네스 엔지니어링’은 AI가 지정된 목표를 안전하고 신뢰할 수 있게 완수할 수 있도록 실행 환경과 통제 시스템을 설계하는 기술이다. 그는 이어 “사용자들은 오래된 정보를 찾고 싶어 하지 않기 때문에 기존의 키워드 서치 방식과 벡터 서치라고 하는 그 방식을 조합을 해서 가장 정확한 최신의 문서를 찾아올 수 있도록 많은 실험을 거듭했다”며 “꽤 높은 품질을 저희가 담보할 수 있게 됐다”고 덧붙였다.
이 대표는 향후 쇼핑, 맛집 검색 등 버티컬로 확장하고 ‘다음’을 통해 개인화된 ‘1인 1에이전트’를 제공하겠다는 포부도 밝혔다. 예를 들어 최근 ‘다음’의 실시간 트렌드 1위로 올라선 ‘삼성전자 주가’에 대해서는 아예 주가와 경쟁사 뉴스까지 통합해 보여주는 에이전트를 구현하는 방식이다.
이 서비스의 가장 큰 특징은 AI의 작동 방식이다. 업스테이지는 ‘AI 오버뷰’ 서비스를 위해 엔비디아의 GPU 대신 퓨리오사AI의 NPU ‘레니게이드’를 도입했다. 인프라부터 모델, 실제 사용자가 체감하는 서비스까지 AI 전 영역을 국산 기술로 연결한 첫 풀스택 소버린 AI 사례가 된 것.
백 대표는 “현재 퓨리오사AI의 ‘레니게이드’가 업스테이지의 ‘솔라’ AI모델을 가속하기 위해 서버 3개 노드, 24개 정도의 칩이 투입돼 하루에 5억개 정도의 토큰을 처리하고 있다”며 “엔비디아의 GPU ‘h200’ 보다 훨씬 더 전성비와 가성비가 좋으면서도 대등한 성능을 내는 결과를 보여주고 있다”고 자신했다.
그는 이어 “이제 약속드릴 수 있는 것은 전체적인 비용 절감 효과를 보여주고 있다는 점”이라며 “우리가 목표로 하는 것은 엔비디아 GPU 대비 가격을 절반 이상으로 떨어뜨리는 것으로 충분히 절감할 수 있을 것으로 보고 있다”고 전망했다.
업스테이지 입장에서는 포털 ‘다음’에 ‘AI 오버뷰’를 도입하면서 발생하는 토큰 비용을 절감할 수 있다는 것이 강점이다.
김 대표는 “업스테이지의 ‘솔라’는 다음과 함께 해서 하루에 30B(300억개), 올해 300B(3000억개) 등 상당한 양을 쓰는데, 현재 비용이 30% 가량 절감하고 있고 앞으로 50% 이상 절감할 수 있다는 점에서 기대가 된다”며 “최적화가 끝난 게 아닌데도 (H200과) 유사한 성능이 나왔으니까 이제 최적화가 되면 더 성능이 높을 수도 있다”고 말했다.
이어 “우리가 만든 기술 더 많이 사용해달라”이라며 “‘다음’ AI 오버뷰를 사용해 주시면 ‘솔라’를 사용하는 것이고 그게 또 우리 NPU를 사용하는 것으로 선순환을 만들 수 있다”고 덧붙였다.