페타바이트 데이터 빠르게 처리… HPC 분야 주목'인덱싱 기술' 세계 최초 적용해 데이터 찾기 속도 높여기존 SSD보다 데이터 처리 속도 최대 7.4배 향상
  • ▲ SK하이닉스의 KV-CSD와 데이터 연산을 지원하는 컨트롤러. ⓒSK하이닉스
    ▲ SK하이닉스의 KV-CSD와 데이터 연산을 지원하는 컨트롤러. ⓒSK하이닉스
    SK하이닉스는 16일(현지시간) 미국 캘리포니아주 샌디에이고에서 개최된 '2023 R&D 100 어워드'에서 자사 기술진이 차세대 저장장치 'KV-CSD(Key Value Computational Storage Drive, 키값 전산 저장장치)'를 개발한 공로로 'IT/Electrical 부문상'을 수상했다고 밝혔다.

    R&D 100 어워드는 매년 세계에서 가장 큰 혁신을 이룬 기술·제품 100가지를 선정하는 과학 기술 시상식으로, 산학계에서는 '혁신의 오스카상'으로 불린다.

    KV-CSD는 SK하이닉스가 미국 로스앨러모스 국립연구소와 공동 개발한 제품으로, SK하이닉스는 KV-CSD 개발을, LANL은 KV-CSD를 슈퍼컴퓨터에 적용하는 시스템 개발을 맡았다.

    이 제품은 수 PB(페타바이트)의 대용량 데이터를 수 분 만에 처리하는 빠른 읽기·쓰기 성능을 보여주며, 자체 연산으로 데이터를 빠르게 분석할 수 있어 고성능 컴퓨팅(HPC) 분야에서 큰 주목을 받고 있다. 1PB는 약 1024TB 수준이다.

    또 SK하이닉스는 KV-CSD에 세계 최초로 '인덱싱(색인)' 기술을 적용해 데이터 찾기 속도를 획기적으로 높였다고 강조했다.

    보통 하나의 파일을 저장하면 여러 개의 저장공간인 블록에 데이터가 쪼개져 저장되는데, '인덱싱 기술'을 활용하면 여러 개로 쪼개진 데이터에 고유의 키가 부여돼 필요시 이를 인덱싱 기준에 따라 빠르게 모아서 처리할 수 있다. 블록을 하나하나 들여다보며 필요한 데이터를 모아 처리하는 기존 저장장치인 SSD보다 KV-CSD의 속도가 최대 7.4배 더 빠르다.

    정우석 SK하이닉스 Computational Storage 팀장은 "KV-CSD는 키값과 인덱싱에 기반해 데이터를 빠르게 처리하고 분석까지 마친 뒤 원하는 결과만 CPU에 전달해주는 차세대 저장장치로, 고성능 컴퓨팅은 물론 대규모 데이터를 처리하는 AI 및 빅데이터 산업에 유용할 것"이라며 "앞으로 상용화에 주력해 다양한 분야에서 쓰이도록 노력하겠다"고 말했다.