SK하이닉스가 지난 15일부터 미국 캘리포니아주 새너제이(San Jose)에서 개막한 ‘OCP 글로벌 서밋(OCP Global Summit 2024, 이하 OCP 서밋)’에 참가해 미래 반도체 시장 리더십을 이어갈 AI 메모리 반도체 기술과 제품을 선보였다.

▲ OCP 서밋에 설치된 SK하이닉스 부스 모습

OCP 서밋은 전 세계 최대 규모의 개방형 데이터센터 기술 협력 협회인 OCP(Open Compute Project)가 주최하는 글로벌 행사로 미래 데이터센터 환경을 구현하기 위한 AI 기술 중심의 반도체 최신 기술과 연구 성과, 기술력 등을 공유하는 자리다. 올해의 주제는 ‘From Ideas To Impact(비전을 현실로 전환하다)’로, 이론적 논의를 넘어 구체적인 솔루션으로 구현하는 업계의 혁신 기술과 노력을 다뤘다.

AI 시대를 선도하는 토탈 AI 메모리 솔루션 제시

SK하이닉스는 2016년 첫 OCP 서밋 참여를 시작으로 매년 혁신 기술과 비전을 제시해 왔다. 특히 올해는 최고 등급인 다이아몬드 회원으로 참여해 ‘MEMORY, THE POWER OF AI’라는 슬로건으로 전시를 열어 SK하이닉스의 선도적인 기술력을 확인할 수 있는 다양한 AI 메모리 제품을 선보였다.

회사는 ▲HBM 5세대 최신 제품이자 현존 최고 성능을 구현하는 HBM3E*를 비롯해 ▲CXL* 기반 연산 기능을 통합한 차세대 메모리 솔루션 ▲10나노급 6세대(1c) 공정* 기반의 DDR5 RDIMM ▲고용량 저장장치 eSSD* 등 다양한 AI 메모리를 전시하며 눈길을 끌었다.

* HBM(High Bandwidth Memory): 여러 개의 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 제품. HBM은 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)-5세대(HBM3E) 순으로 개발됨. HBM3E는 HBM3의 확장(Extended) 버전. 기존 HBM3E의 최대 용량은 3GB D램 단품 칩 8개를 수직 적층한 24GB였음
* CXL(Compute eXpress Link): 고성능 컴퓨팅 시스템을 효율적으로 활용하기 위한 PCle 기반 차세대 인터페이스. 기존 D램 제품과 함께 서버 시스템의 메모리 대역폭을 늘려 성능을 향상하고, 쉽게 메모리 용량을 확대할 수 있는 차세대 메모리 솔루션
* 10나노급 D램 공정 기술은 1x-1y-1z-1a-1b 순으로 개발돼 1c는 6세대
* eSSD(Enterprise Solid State Drive): 기업용 SSD, 주로 서버나 데이터센터에 탑재됨

▲ SK하이닉스가 OCP 서밋에서 전시한 HBM3E와 엔비디아의 H200/GB200

이중 HBM3E 12단은 SK하이닉스가 지난 9월 세계 최초로 양산하기 시작한 현존 최고 성능과 용량을 갖춘 제품[관련기사]으로 엔비디아(NVIDIA)의 신형 ‘H200 텐서 코어 GPU(Tensor Core GPU)’ 및 ‘GB200 그레이스 블랙웰 슈퍼칩(Grace Blackwell Superchip)’과 함께 전시됐다. HBM3E 12단은 D램 칩을 기존보다 40% 얇게 만들어 기존 8단 제품과 동일한 두께로 12단 적층에 성공해 최대 36GB 용량을 구현했으며 데이터 처리 속도는 9.6Gbps로 높였다. 또 SK하이닉스의 핵심 기술인 어드밴스드 MR-MUF*공정을 적용해 발열 성능을 10% 향상시키며 속도, 용량, 안정성 등 모든 부문에서 세계 최고 수준이라는 평가를 받고 있다.

* 어드밴스드(Advanced) MR-MUF: 기존 칩 두께 대비 40% 얇은 칩을 휘어짐 없이 적층할 수 있는 칩 제어 기술(Warpage Control)이 적용되었으며, 신규 보호재를 통해 방열 특성까지 향상된 차세대 MR-MUF 기술

▲ SK하이닉스가 OCP 서밋에서 라이브 데모를 시연한 CXL 기반 CMM-Ax와 CMM-DDR5/HMSDK, 나이아가라 2.0, CSD(서버 장착) 제품

또한 SK하이닉스는 CXL 기반 연산 기능을 통합한 차세대 메모리 솔루션 ▲CMM-Ax* ▲CMM-DDR5/HMSDK* ▲나이아가라(Niagara) 2.0과 함께 ▲CSD*를 선보였다.

CMM-Ax는 기존 CMS* 2.0의 명칭을 변경한 것으로 이번 전시에서 새로운 이름과 함께 소개됐다. CMM-Ax는 고용량 메모리를 확장할 수 있는 CXL의 장점에 머신러닝과 데이터 필터링 연산 기능을 함께 제공하며 차세대 서버 플랫폼에 탑재되어 시스템의 성능과 에너지 효율 향상에 기여할 수 있다. 회사는 CMM-Ax를 탑재한 서버를 통해 멀티모달* 라이브 데모를 선보이며 차세대 연산 메모리 성능을 입증했다.

이에 더해, CMM-DDR5와 이를 지원하는 소프트웨어인 HMSDK, 나이아가라(Niagara) 2.0 제품을 시연하는 자리도 마련했다. HMSDK는 CMM-DDR5가 장착된 시스템의 대역폭과 용량을 확장해 주는 솔루션으로 D램 모듈과 CMM-DDR5 간의 효율적인 교차 배열을 통해 대역폭을 넓히고, 데이터 사용 빈도에 따라 적합한 메모리 장치로 데이터를 재배치해 시스템 성능을 개선해 준다[관련기사].

나이아가라(Niagara)는 CXL 풀드 메모리(Pooled Memory)를 위한 하드웨어∙소프트웨어 통합 솔루션으로, 대용량의 메모리 풀을 여러 호스트(CPU, GPU 등)가 최적의 상태로 나눠 쓰도록 해 유휴 메모리를 최소화함으로써 전체 시스템의 비용을 줄일 수 있는 것이 특징이다. 또한 데이터 사용 빈도와 접근 패턴에 따라 데이터를 재배치해 시스템의 성능을 대폭 개선할 수 있다[관련기사].

* CMM(CXL Memory Module)-Ax: CMM은 CXL Memory Module의 약자로 제품에 CXL 기반 솔루션의 정체성을 부각했고, Accelerator와 xPU의 의미를 가져와 ‘Ax’라는 이름을 붙임
* HMSDK(Heterogeneous Memory S/W Development Kit): SK하이닉스 고유의 이종(異種) 메모리 소프트웨어 개발 도구. 효과적인 메모리 제어로 CXL 메모리를 포함한 이종 메모리 시스템의 성능을 향상시킴
* CSD(Computational Storage Drive): 데이터를 직접 연산하는 저장장치
* CMS(Computational Memory Solution): 고용량 메모리를 확장할 수 있는 CXL 메모리에 빅데이터 분석이나 AI와 같은 대용량 데이터가 필요한 응용 프로그램에서 주로 사용되는 연산 기능이 포함된 메모리 솔루션
* 멀티모달(Multi Modal): 텍스트, 사진 음성, 동영상 등 여러 복합 정보를 이해할 수 있는 AI 서비스/p>

▲ SK하이닉스가 OCP 서밋에서 라이브 데모를 시연한 GDDR6-AiM 기반 가속기 카드 AiMX

데이터센터의 대규모 언어 모델(Large Language Model, 이하 LLM) 서비스는 여러 사용자의 요청 사항을 동시에 처리하는 방식으로 GPU 효율을 개선하고 있으나, 생성 토큰 길이가 증가함에 따라 GPU 효율이 낮은 어텐션 레이어*의 연산량이 커지는 문제가 있다. 이에 회사는 GDDR6-AiM* 기반 가속기 카드인 AiMX*로 최신 모델인 Llama3 70B*의 어텐션 레이어를 가속하는 라이브 데모를 시연했다. AiMX를 탑재해 대량의 데이터를 다루면서도 최신 가속기 대비 고성능, 저전력 등 뛰어난 성능을 보여줄 수 있다는 것을 확인시켰다[관련기사].

* 어텐션 레이어(Attention Layer): 딥러닝 모델, 특히 자연어 처리 분야에서 입력 데이터의 각 부분에 가중치를 부여하여 관련 정보에 더 집중하게 하는 메커니즘
* AiM(Accelerator-in-Memory): SK하이닉스의 PIM 반도체 제품명, PIM은 메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀 수 있는 차세대 기술
* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속기 카드 제품
* Llama3(Large Language Model Meta AI): 메타의 최신 LLM 모델로 700억 개의 매개변수를 가짐

▲ SK하이닉스가 OCP 서밋에서 선보인 DDR5 RDIMM과 MCRDIMM

이와 함께 슈퍼마이크로(Supermicro)와의 협업으로 고성능 컴퓨팅 시장에서 주목받는 ▲DDR5 RDIMM ▲MCRDIMM*과 ▲E3.S eSSD PS1010* ▲M.2 2280 eSSD PE9010을 함께 전시했다. 이 제품들은 데이터센터 전력 소비량이 늘어나는 가운데, 이전 세대 대비 속도와 전력 효율을 크게 향상시켜 AI용 서버 시장에 핵심 솔루션이 될 것으로 기대를 모은다.

* MCRDIMM(Multiplexer Combined Ranks Dual In-line Memory Module): 여러 개의 D램이 기판에 결합된 모듈 제품으로, 모듈의 기본 정보처리 동작 단위인 랭크(Rank) 2개가 동시 작동되어 속도가 향상된 제품

* PS1010: 초고성능-고용량 데이터센터/서버향 SSD로 PCIe 5세대 E3.S & U.2/3(폼팩터 규격) 기반 제품

▲ SK하이닉스가 OCP 서밋에서 전시한 PCIe 5세대 기반 기업용 SSD

이 밖에도 SK하이닉스는 다양한 서버에 호환이 가능한 폼팩터(Form Factor)를 갖춘 eSSD 제품군을 선보이며 현장의 큰 관심을 받았다. 이중 PS1010과 PS1030은 업계 최고의 성능의 5세대 PCle* 기반 eSSD 제품으로 이전 세대 대비 전송 속도가 빠르고 전력 소모가 적은 고효율 AI 메모리다. 대량의 데이터를 처리하는 인공지능과 데이터센터 등에 최적화된 제품으로 생성형 AI 시대 핵심 반도체로 떠오르고 있다.

* PCle(Peripheral Component Interconnect Express): 직렬 구조의 고속 입출력 인터페이스로 디지털 장치의 메인보드에서 사용

세션 발표를 통해 글로벌 No.1 AI 메모리 프로바이더 입증

SK하이닉스는 이번 OCP 서밋에서 총 일곱 번의 세션 발표와 패널 참여를 통해 회사의 AI 메모리 기술력과 비전을 공유했다. 특히, AI 시대의 개화와 함께 주목받고 있는 HBM과 CXL을 중심으로 이야기를 풀어내며 혁신의 경계를 넓히기 위해 반도체 업계의 협력을 제안했다.

▲ 회사의 CXL 기반 메모리 솔루션을 발표 중인 주영표 부사장(Software Solution 담당)

먼저, ‘Pioneering the AI Enlightenment : Future Memory Solution R&D in SK Hynix(AI 시대를 여는 선구자 : SK하이닉스의 미래 메모리 솔루션 R&D)’를 주제로 발표한 주영표 부사장(Software Solution 담당)은 CMM-DDR5를 비롯한 CXL 기반 메모리 솔루션을 소개하며 AI 메모리 경쟁력을 강화하는 SK하이닉스의 강력한 의지를 보여줬다.

▲ 회사 CXL 기술력을 소개 중인 최정민 TL(Composable System)

▲ 회사 CXL 기술력을 소개 중인 김홍규 TL(System SW)

최정민 TL(Composable System)은 ‘CXL 메모리 풀링* 및 공유 기능, 데이터 사용 빈도와 패턴 분석을 통한 핫-콜드 데이터* 검출 및 이에 따른 시스템 이점과 다양한 활용 사례’를 다뤘고, 김홍규 TL(System SW)은 회사가 자체 개발한 CXL 최적화 소프트웨어인 HMSDK를 소개했다.

* 메모리 풀링(Memory Pooling): 대용량 메모리 풀(Pool)을 만들고 다수의 서버가 메모리 풀에서 필요한 만큼 메모리를 할당받아 사용할 수 있는 기술
* 핫-콜드 데이터(Hot-Cold Data): ‘Hot Data’는 매우 빈번하게 액세스, 업데이트되는 데이터를 가리키며, ‘Cold Data’는 자주 또는 전혀 액세스하지 않는 비활성 데이터를 의미

▲ HBM4 도입과 업계에 주는 시사점에 대해 발표하고 있는 김연수 TL(DRAM TP)

이어서 김연수 TL(DRAM TP)은 ‘The Next Chapter of HBM(다가올 HBM의 미래)’을 주제로 HBM 시장의 성장 배경과 최신 HBM3E 제품을 소개하고, 지속적으로 늘어나는 커스텀(Custom) 제품 요구에 적기 대응하기 위한 전략을 발표했다.

▲ 회사의 AiM 제품 강점을 설명 중인 임의철 부사장(Solution AT 담당)

생활 전반에 걸쳐 혁신적인 변화를 예고하는 생성형 AI를 위한 솔루션을 주제로 한 발표도 이어졌다. 임의철 부사장(Solution AT 담당)은 데이터센터부터 엣지 디바이스까지 LLM 서비스의 핵심 솔루션이 된 AiM 기술을 강조하며, 회사의 AiM 제품 소개와 미래 비전을 공유했다.

▲ LLM 학습 시스템 성능 향상을 위한 차세대 SSD에 대해 발표 중인 김종률 팀장(AI System Infra)

▲ LLM 학습 시스템 성능 향상을 위한 차세대 SSD에 대해 발표 중인 Kevin Tang TL(AI System Infra)

김종률 팀장(AI System Infra)과 Kevin Tang TL(AI System Infra)은 LLM 학습 시스템 장애로 인한 자원 및 비용 낭비를 줄이기 위한 기술인 체크포인팅*을 효과적으로 지원할 수 있는 차세대 SSD에 대한 연구 결과를 발표했다.

* 체크포인팅(Checkpointing): 학습 과정 중 특정 시점의 모델 파라미터와 관련 주요 데이터를 저장하여 시스템 장애 발생 시 저장된 특정 시점에서 학습을 재시작할 수 있도록 지원하는 기술

▲ 메모리 인접 연산 기술의 비전에 대해 발표하고 있는 김호식 부사장(SOLAB 담당)

김호식 부사장(SOLAB 담당)은 ‘Opportunities, Challenges, and Road Ahead in Data Centric Computing(데이터 센트릭 컴퓨팅의 기회, 도전과 방향성)’을 주제로 한 패널 세션에 참가했다. 이 자리에서 메모리와 프로세서 간의 데이터 병목 현상을 해결하기 위한 메모리 인접 연산* 기술의 비전에 관해 설명했다. 또, 이를 실제 시스템에 적용하기 위해 해결해야 하는 HW와 SW 레벨의 다양한 이슈와 방법에 대해 토론을 진행했다.

* 메모리 인접 연산(Near Memory Processing): 폰노이만 아키텍처의 한계인 메모리와 프로세서 간의 병목 이슈를 해결하기 위한 목적으로, 메모리 내부에서 특정 연산을 처리함으로써 프로세서의 이용 효율을 높이고 메모리와 프로세서 간의 데이터 이동량을 줄여 시스템 성능 및 TCO 개선을 가능하게 하는 차세대 메모리 솔루션 기술

▲ CXL 기술을 활용한 Composable Memory Systems의 중요성과 개발 방향성에 대해 공동 발표하고 있는 김명서 TL(AI Open Innovation)(오른쪽)

▲ CXL 기술을 활용한 Composable Memory Systems의 중요성과 개발 방향성에 대해 공동 발표하고 있는 잭래빗 랩스 담당자

▲ CXL 기술을 활용한 Composable Memory Systems의 중요성과 개발 방향성에 대해 공동 발표하고 있는 인텔 담당자

기술 파트너들과 공동으로 발표한 김명서 TL(AI Open Innovation)은 우버(Uber) 데이터센터의 쿠버네티스 클라우드* 환경에서의 문제점을 해결하기 위해 회사의 CXL 풀드 메모리 프로토타입과 잭래빗 랩스(Jackrabbit Labs)의 오픈소스 소프트웨어인 클라우드 오케스트레이션*을 활용한 성과를 소개했다. 이는 쿠버네티스 클라우드 환경에서 발생하는 스트랜디드 메모리* 이슈를 해결할 수 있도록 개발됐다. 앞으로도 다양한 빅테크 기술 파트너들과 협력해 생태계를 구축하고, 미래 시장에서의 기술 리더십을 강화할 것이라고 전했다.

* 쿠버네티스 클라우드(Kubernetes Cloud): 독립된 환경 및 애플리케이션을 하나로 통합하여 실행할 수 있도록 컨테이너화된 애플리케이션을 실행하기 위한 일련의 노드 머신
* 오케스트레이션(Orchestration): 컴퓨터 시스템과 서비스, 애플리케이션 설정을 자동화하여 컴퓨팅 자원을 관리하고 조정하는 것으로 여러 개의 작업을 함께 연결하여 크기가 큰 워크플로우나 프로세스를 실행하는 방식을 취함
* 스트랜디드 메모리(Stranded Memory): 메모리가 사용되지 않고 남는 이슈

SK하이닉스는 “이번 OCP 서밋을 통해 AI 중심으로 급격히 변하는 시장 환경에서 ‘글로벌 No.1 AI 메모리 프로바이더(Global No.1 AI Memory Provider)’로 성장하는 SK하이닉스의 혁신 기술을 선보일 수 있었다”라며 “앞으로도 장기적인 관점에서 기술력을 확보하고 고객 및 다양한 파트너사와의 협업을 통해 AI 시장의 핵심 플레이어가 될 것”이라고 전했다.

SK하이닉스가 지난 17일부터 사흘간 미국 캘리포니아 산호세에서 열린 ‘OCP 글로벌 서밋 2023(OCP Global Summit 2023, 이하 OCP 서밋)’에 참가해 차세대 메모리 반도체 기술과 제품을 선보였다고 밝혔다.

OCP 서밋은 세계 최대 규모의 데이터센터 기술 커뮤니티인 OCP(Open Compute Project)가 주최하는 행사로 업계 전문가들이 모여 다양한 기술력과 비전을 공유하는 자리다. 올해 SK하이닉스는 자회사인 솔리다임(Solidigm)과 함께  ‘기술로 하나가 되다(United Through Technology)’라는 슬로건을 걸고, 인공지능(AI, Artificial Intelligence) 시대를 이끌어 갈 첨단 메모리 반도체 제품을 선보였다.

▲ ‘OCP 글로벌 서밋 2023’에 참가한 SK하이닉스의 전시 부스 모습

하이닉스, 부스 전시를 통해 글로벌 선도 AI 메모리 기술력 선보여

SK하이닉스는 생성형 AI 붐 속에서 선도적인 기술력으로 화제가 된 ▲HBM(HBM3/3E)* ▲CXL* ▲AiM* 등 첨단 메모리 솔루션을 선보였다. 또, 회사는 ▲DDR5 ▲MCR DIMM ▲LPDDR CAMM* ▲Enterprise SSD(이하, eSSD) 등 최신 제품 포트폴리오도 공개했다.

* HBM(High Bandwidth Memory): 여러 개의 D램 칩을 TSV(Through Silicon Via, 실리콘 관통 전극)로 수직 연결해 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 제품
* CXL(Compute Express Link): 고성능 컴퓨팅 시스템을 효율적으로 구축하기 위한 PCIe 기반 차세대 인터커넥트 프로토콜. 기존 D램 제품과 함께 서버 시스템의 메모리 대역폭을 늘려 성능을 향상하고, 쉽게 메모리 용량을 확대할 수 있는 차세대 메모리 솔루션
* AiM(Accelerator in Memory): SK하이닉스의 PIM(Process In Memory) 반도체 제품명, GDDR6-AiM이 이에 포함된다.
* LPDDR CAMM(Low-Power Double Data Rate Compression Attached Memory Module): 노트북/모바일의 차세대 메모리 규격(CAMM)에 맞춰 LPDDR 패키지를 기반으로 개발한 제품. 이는 기존 모듈(So-DIMM) 대비 단면 구성으로 두께가 반으로 줄고, 대용량 탑재와 전력 효율까지 개선됐다.

이 중 엔비디아의 인공지능용 고성능 그래픽처리장치(GPU)인 ‘H100’에 탑재된 SK하이닉스의 HBM3와 차세대 제품인 HBM3E[관련기사]가 많은 관람객의 이목을 집중시켰다. 초고성능·저전력 반도체인 HBM은 회사의 압도적인 기술력과 함께 전력 소모가 큰 인공지능용 서버에 최적화된 제품임을 인증하는 자리가 됐다.

▲ SK하이닉스가 ’OCP 글로벌 서밋 2023’에서 전시한 HBM3와 HBM3E와 MCR DIMM, DDR5 RDIMM, LPDDR CAMM의 모습

또, CXL 메모리에 연산 기능을 통합한 차세대 메모리 솔루션인 CMS(Computational Memory Solution)* 2.0 등 SK하이닉스의 CXL 핵심 솔루션 3종도 눈길을 끌었다. CXL은 NMP(Near Memory Processing)* 기술을 적용해 CPU와 메모리 사이의 불필요한 데이터 이동을 최소화한 기술이다. 회사는 CMS 2.0을 SK텔레콤의 실시간 유동인구 분석 솔루션(Lightning DB 기반 공간 데이터 분석 및 시각화 솔루션)에 접목해 서버 CPU와 동등한 데이터 처리 성능을 보여줬다. 이를 통해, CMS가 데이터 처리 성능과 에너지 효율 향상에 크게 기여한다는 것을 입증했다.

* CMS(Computational Memory Solution): 고용량 메모리를 확장할 수 있는 CXL의 장점에 빅데이터 분석 응용 프로그램이 자주 수행하는 머신러닝 및 데이터 필터링 연산 기능이 포함된 메모리 솔루션
* NMP(Near-Memory Processing): CPU-메모리 간 데이터 이동 시 발생하는 병목 현상을 해결하고, 처리 성능 향상을 위해 연산 기능을 메인 메모리 옆으로 이동하는 메모리 아키텍처

회사는 이와 함께 CXL 기반의 풀드 메모리(Pooled Memory) 솔루션을 시연하는 자리도 마련했다. 풀드 메모리 솔루션은 여러 개의 CXL 메모리를 묶어 풀(Pool)을 만들어 여러 호스트가 효과적으로 용량을 나누어 사용할 수 있도록 해 유휴 메모리가 없도록 사용량을 최적화하면서도 전력 소모를 줄여 비용 절감을 가능하게 하는 기술로 큰 관심을 받았다. 이 기술은 미국 소프트웨어 파트너사 멤버지(MemVerge)와의 협업을 통해 개발됐으며, 인공지능과 빅데이터 분산 처리 시스템에서 어떻게 메모리 성능을 높일 수 있는지 보여줬다.

CXL 메모리를 메타(Meta)에서 개발한 소프트웨어 엔진인 캐시립(CacheLib)에 적용한 메모리 확장기(Memory Expander)도 선보여졌다. 이는 CXL 기반의 메모리 솔루션이 성능 향상과 비용 절감을 위해 어떻게 소프트웨어를 최적화하는지 보여준 사례가 됐다.

▲ SK하이닉스가 ‘OCP 글로벌 서밋 2023’에서 시연한 CXL 기반 CMS, 풀드 메모리(Pooled Memory) 솔루션 그리고 메모리확장기(Memory Expander)

SK하이닉스는 PIM* 반도체 GDDR6-AiM[관련기사]과 이를 활용한 가속기 카드 AiMX*[관련기사] 시제품도 시연했다. GDDR6-AiM은 인공지능 모델의 추론 과정에서 메모리 자체에 연산 기능을 탑재한 반도체로 인공지능, 고성능 컴퓨팅, 빅데이터 분야에서 주목받는 차세대 기술 중 하나다. 회사는 GDDR6-AiM칩을 여러 개 탑재한 생성형 AI 가속기 카드 제품인 AiMX의 프로토타입을 함께 공개하며, 업계를 선도하는 기술력을 뽐냈다.

* PIM(Processing-In-Memory): 메모리 반도체에 연산 기능을 더해 인공지능)과 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀어낼 수 있는 차세대 기술
* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속기 카드 제품

▲ SK하이닉스가 ‘OCP 글로벌 서밋 2023’에서 전시한 PIM과 AiMX

이번 행사에서는 PCle* 5세대 기반 eSSD인 PS1010 E3.S도 만나볼 수 있었다. 이는 데이터 사용이 많은 애플리케이션, 클라우드 컴퓨팅, 인공지능에 최적화된 제품이다. 이 제품은 이전 세대 대비 뛰어난 속도와 낮은 탄소 배출량으로 향상된 성능과 안정성을 제공할 것으로 기대된다.

* PCle(Peripheral Component Interconnect Express): 직렬 구조의 고속 입출력 인터페이스로 디지털 장치의 메인보드에서 사용된다.

▲ SK하이닉스가 ‘OCP 글로벌 서밋 2023’에서 전시한 PCIe 5세대 기반의 기업용 SSD인 PS1010 E3.S

하이닉스, 대담과 세션 발표를 통해 ‘기술력과 비전’ 제시

SK하이닉스는 이번 서밋에서 대담과 세션 발표를 통해 차세대 메모리 기술의 발전 방향도 제시했다.

김호식 부사장(시스템아키텍처담당)은 ‘데이터 중심의 컴퓨팅, 현재와 미래(Data Centric Computing, Present and Future)’를 주제로 한 대담에 패널로 참석해 새로운 컴퓨팅 및 프로그래밍 모델에 대해 논의했다. 또 김 부사장은 ‘CXL: 메모리 중심 컴퓨팅의 서막(CXL: A Prelude to a Memory-centric Computing)’을 주제로 세션을 진행하며 SK하이닉스 CXL 기술 개발 현황과 메모리 중심 컴퓨팅에 대한 회사의 비전을 공유했다.

▲ OCP 글로벌 서밋 2023’에서 회사의 CXL 기술 개발 현황과 메모리 중심 컴퓨팅에 대한 회사의 비전을 발표하고 새로운 컴퓨팅과 프로그래밍 모델에 대해 대담하고 있는 SK하이닉스 시스템아키텍처그룹 김호식 부사장

그리고 CXL의 잠재력을 알리기 위해 세 번의 세션 발표가 진행됐다. 먼저, 주영표 부사장(소프트웨어솔루션담당)은 CXL 기반 연산 메모리 솔루션 아키텍처의 유용성과 유연성을 높이는 방법에 대해 발표했다.

이어서 문동욱 TL(메모리시스템연구 소속)은 CXL 기술이 인공지능, 웹 서비스와 같은 기술에서 어떤 효과를 만드는지 언급했다. 특히 문 TL은 CXL이 캐싱(Caching) 계층에서 메모리 용량과 대역폭을 개선해 궁극적으로 성능 및 효율성을 높일 수 있다고 강조했다.

마지막으로 최정민 TL(메모리시스템연구 소속)은 CXL 기술을 활용해 분리된 메모리 자원을 여러 CPU가 효율적으로 공유할 수 있는 기술에 대해 발표했다. 그는 이 기술을 통해 현재 데이터센터가 직면한 유휴 메모리 문제를 해결함과 동시에 시스템의 성능까지 개선할 수 있다고 설명했다.

▲ ‘OCP 글로벌 서밋 2023’에서 회사의 CXL 최신 기술을 활용한 솔루션을 소개 중인 SK하이닉스 소프트웨어솔루션 주영표 부사장, 메모리시스템연구 문동욱 TL, 최정민 TL

한편, 임의철 부사장(메모리솔루션담당)은 세션 발표를 통해 인공지능을 위한 메모리와 컴퓨팅 수요에 대응하는 PIM 기술의 잠재력을 설명하며, SK하이닉스의 PIM 기반 AiM 가속기를 포함한 핵심 기술들을 소개했다.

▲ OCP 글로벌 서밋 2023’에서 회사의 PIM 기반 AiM 기속기와 PIM 기술 기반의 핵심 기술을 주제로 발표 중인 SK하이닉스 메모리솔루션 임의철 부사장

SK하이닉스는 이번 행사를 통해 회사가 ‘글로벌 No.1 AI 메모리 솔루션 공급자’로서 인공지능 등 첨단기술을 구현하기 위한 획기적인 솔루션 개발에 대한 의지를 확고히 했다. 또, 앞으로도 AI 시대에 맞춰 혁신적인 기술 연구와 개발을 지속해 나갈 것이라고 밝혔다.

OCP(Open Compute Project) 글로벌 서밋은 점점 더 고도화되는 디지털 사회의 핵심인 고밀도·고효율의 차세대 데이터센터 환경 구현을 위한 최신 기술과 다양한 연구성과, 기술력 등을 공유하는 무대이다.

SK하이닉스, 부스 전시를 통해 다양한 차세대 메모리 기술 주요 네 가지 연구성과 시연

2016년부터 매년 OCP 글로벌 서밋에 참석해오고 있는 SK하이닉스는 올해 “Driving New Level of Performance for your Ultimate Data Experience”라는 주제로 부스를 오픈했다. 데이터 환경 성능을 새로운 차원으로 끌어올리는 혁신적인 연구 성과와 함께 차세대 메모리 기술들을 선보인 것이다.

특히, SK하이닉스는 부스 전시를 통해 ▲최신 Enterprise SSD(이하 eSSD)인 PCIe Gen5 PS1010, ▲CXL(Compute eXpress Link) 기반 연산 기능을 통합한 메모리 솔루션(이하 CMS: Computational Memory Solution) ▲DDR5 24Gb D램 기반 96GB CXL 메모리 EDSFF* E3.S ▲차세대 지능형 반도체 PIM(Processing In Memory) 기반 GDDR6-AiM를 공개, 참관객들에게 시연하며 선도적인 기술력을 바탕으로 한 솔루션 프로바이더(Solution Provider) 기업으로서의 면모를 뽐냈다.

* EDSFF(Enterprise & Datacenter Standard Form Factor): 고밀도·고성능을 갖춘 데이터센터용 저장장치 폼팩터

첫 번째는 SK하이닉스가 자체 개발한 PCIe 5세대 토탈 솔루션 제품인 최신 eSSD PCIe Gen5 PS1010다. PCIe 5세대 인터페이스* 채용에 따라 이전 4세대 대비 데이터 전송 속도가 2배 이상 빠르며, 업계 선두 제품인 V7 NAND를 사용하여 원가 및 성능 측면에서도 경쟁력을 확보했다는 점을 강조했다.

* PCIe(Peripheral Component Interconnect express) 5세대 인터페이스: 디지털기기의 메인보드에서 사용되는 직렬 구조의 고속 입출력 인터페이스. 저장 장치를 연결하는 기술. 초 당 32GT 이상의 데이터를 전송할 수 잇는 것이 특징

▲ SK하이닉스가 최근 자체 개발한 PCIe 5세대 토탈 솔루션, PCIe Gen5 PS1010를 통해 속도를 시연하는 모습

두 번째는 업계 최초로 개발에 성공한 CXL 기반 연산 기능을 통합한 메모리 솔루션인 CMS다. 고용량 메모리를 확장할 수 있는 CXL의 장점에 빅데이터 분석 응용 프로그램이 자주 수행하는 머신러닝 및 데이터 필터링 연산 기능이 포함된 CMS는 설계부터 검증까지 모든 단계를 SK텔레콤과 협업하여, CMS가 적용된 빅데이터 분석 플랫폼까지 함께 시연할 수 있었다. CMS는 차세대 서버 플랫폼에 탑재되며 향후 시스템의 성능은 물론 에너지 효율까지 개선할 것으로 기대를 모았다.

▲ 업계 최초 CXL 메모리와 연산 기능이 포함된 CMS를 활용하여 빅데이터 분석 플랫폼을 시연하는 모습

세 번째로 SK하이닉스는 지난 8월 발표한 최신 DDR5 24Gb D램 기반 96GB CXL 메모리로 EDSFF E3.S 샘플을 시연했다. DDR5와 CXL 메모리를 비교할 수 있도록 시연이 진행됐는데, 이를 통해 DDR5만 사용된 메모리보다 실행시간은 20% 감소했으며, 메모리 대역폭은 50% 증가, 메모리 용량은 60% 확장하는 효과를 확인할 수 있었다. 용량과 성능이 고정되는 기존 서버 시장의 한계점을 보완, 유연하게 성능과 용량을 개선하는 SK하이닉스 CXL 메모리의 강점이 확연하게 드러났다.

▲ DDR5 24Gb D램 기반 96GB CXL 메모리 EDSFF E3.S를 통해 개선된 속도와 대역폭 등 성능을 시연하는 모습

마지막 시연 제품은 자체 연산 기능을 갖춘 PIM 기반의 차세대 지능형 반도체 GDDR6-AiM(Accelerator-in-Memory)로 메모리 중심 컴퓨터 구조(Memory-Centric Computing)에서 작동되는 거대 인공지능 언어 모델의 동작을 시연했다. 해당 제품은 일반 D램에 연산 기능을 탑재하여 최대 16배 성능과 낮은 동작 전압으로 에너지 소모를 최대 80%까지 줄여준다. 이는 데이터를 연산하는 동안 메모리 외부의 프로세서로 데이터를 전송하지 않아 프로세서와 메모리 간의 데이터 병목현상까지 줄이면서 고성능 컴퓨팅, 빅데이터의 연산과 저장 등에 용이해 앞으로 큰 활약을 보여줄 것으로 기대를 모았다.

▲ GDDR6-AiM(Accelerator-in-Memory)을 활용해 거대 인공지능 언어 모델을 시연하는 모습

SK하이닉스, 세 번의 세션 발표를 통해 증명한 당사의 기술력과 비전

SK하이닉스는 OCP 글로벌 서밋 2022에서 부스 전시와 함께 총 세 번의 세션 발표를 진행했다. DRAM상품기획 최원하 TL의 두 번의 발표와 메모리시스템연구 문동욱 TL의 발표로 당사의 다양한 기술력과 비전을 공유하는 시간을 가졌다.

먼저 “Enhancing the Scalability of Memory Sub-system with SK hynix CXL Devices(SK하이닉스의 CXL 메모리를 활용한 메모리 서브시스템의 확장성 향상)”를 주제로 발표한 최원하 TL은 CXL 메모리 기술과 새로운 가치에 대한 화두를 던지며, SK하이닉스의 관점과 비전을 연결해 이야기를 풀어냈다. 이어서 “Landscaping the Future for Robust CXL Memory Development(완성도 높은 CXL 메모리 개발을 위한 미래 환경 조성)”라는 주제로 CXL 메모리의 성공적인 개발을 위해 필요한 노력과 업계 협업을 위한 SK하이닉스의 기여 방안에 대해 발표했다.

▲ DRAM상품기획 최원하 TL이 발표를 진행하는 모습

그리고 문동욱 TL은 “CXL-based Memory Expansion and Near Memory Processing Opportunities: A Case Study for Data Analytics Platforms(CXL 기반 연산 기능을 통합한 SK하이닉스의 CMS가 탑재된 데이터 분석 플랫폼 적용 사례)”를 주제로 데이터 분석 플랫폼 운영 서버에 SK하이닉스의 CMS가 탑재 되었을 때 기대할 수 있는 성능과 에너지 효율에 대해서 구체적으로 소개했다.

▲ 메모리시스템연구 문동욱 TL이 발표를 진행하는 모습

SK하이닉스는 이번 OCP 글로벌 서밋 2022를 통해 다양하고 새로운 차원의 차세대 메모리 기술 연구 성과들을 공유하며 참관객들에게 좋은 호응을 얻었다. 이번에 소개한 기술뿐만 아니라 앞으로 시장에 소개할 의미 있는 기술 및 신제품 라인업들로, 향후 SK하이닉스가 진정한 ‘솔루션 프로바이더(Solution Provider)’로의 입지를 단단히 할 것으로 기대를 모으고 있다.

SK하이닉스가 지난 8월 첫 CXL 메모리 샘플을 선보인 데 이어, 이번에는 업계 최초로 CXL 메모리에 연산 기능을 통합한 CMS(Computational Memory Solution) 개발에 성공했다.

해당 솔루션은 차세대 서버 플랫폼에 탑재되어 시스템의 성능은 물론 에너지 효율까지 개선할 것으로 기대를 모으고 있다. SK하이닉스는 이번 10월 18일(미국 산호세, 현지 시각) 개막한 OCP(Open Compute Project) 글로벌 서밋 2022에서 CMS와 이를 활용하는 소프트웨어 플랫폼을 동시에 공개하며 차세대 고성능 컴퓨팅 솔루션과 고객 관점의 가치를 함께 입증했다.

CXL의 확장성에 주목, 메모리가 연산 기능을 품는 통합 솔루션 CMS 제시

CXL(Compute eXpress Link)*은 메모리뿐만 아니라 GPU, AI 가속기와 같은 다양한 솔루션들을 보다 효율적으로 통합 활용할 수 있도록 만들어진 새로운 인터커넥트 기술이다.

* CXL(Compute Express Link): 고성능 컴퓨팅 시스템을 효율적으로 구축하기 위한 PCIe 기반의 차세대 인터커넥트 프로토콜

▲ OCP 글로벌 서밋 2022에서 공개된 CMS(Computational Memory Solution_512GB)

CXL의 장점은 ‘메모리 용량의 유연한 증가’다. GPU, SSD와 같이 메모리 카드를 장착해 시스템의 메모리 용량을 늘릴 수 있기 때문이다. SK하이닉스는 이 인터커넥트 기술이 메모리와 가속기를 모두 지원한다는 기술적 특징에 주목하여 이번에 선제적으로 연구 개발을 진행했다.

SK하이닉스가 개발한 CMS는 고용량 메모리를 확장할 수 있는 CXL의 장점에 빅데이터 분석 응용 프로그램이 자주 수행하는 머신러닝 및 데이터 필터링 연산 기능까지 함께 제공한다.

박경 SK하이닉스 부사장(메모리시스템연구 담당)은 “CXL은 메모리 업체의 새로운 기회이며 이번 CMS 개발로 연산 기능의 내재화를 통해 특정 연산에서 수십 개의 CPU 코어가 수행하는 것보다 수배 빠른 성능을 보였다”고 말했다. 또한 “시제품임을 고려하면 더 높은 성능 개선도 가능하기 때문에, 빅데이터 응용뿐만 아니라 다른 응용에 대한 연산 기능 탑재도 관심을 가지고 살펴보고 있다”라고 후속 연구 개발 계획을 밝혔다.

SK그룹 내 시너지 R&D 과제를 통한 양사의 ICT 기술 융합

이번 프로젝트는 SK그룹 내 시너지 R&D 과제로 진행되었으며, 실제 CMS가 고객 관점에서 효과적으로 사용될 수 있도록 SW 개발이 동시에 진행되었다.

양승지 SK텔레콤 Vision R&D 담당은 “CMS가 소프트웨어 응용 관점에서 그 효용성을 입증하는 데 상당한 시간이 소요되는 것이 일반적이지만, 이번 경우는 SK텔레콤이 보유한 라이트닝 DB*를 통해서 하드웨어-소프트웨어 통합 구조 설계부터 개발, 검증까지 모든 과정을 초기부터 공동으로 수행하여 그 시간을 크게 단축할 수 있었다”고 양사 협업의 성과를 설명했다.

* 라이트닝 DB(Lightning DB): SK텔레콤은 대용량의 데이터를 효율적으로 처리하기 위해 인-메모리 데이터 분석 플랫폼(In-Memory Data Analytics Platform) ‘라이트닝 DB’를 자체 개발, 다양한 상용 서비스에 적용해왔다. 해당 플랫폼은 실시간 데이터 처리에 특화된 메모리 중심 설계로, 대용량 데이터를 작은 단위로 분할 저장 후, 최적화된 병렬 처리를 통해 높은 데이터 분석 성능을 자랑한다.

▲ SK하이닉스의 CMS가 적용된 빅데이터 분석 플랫폼 시연 모습

시너지 R&D 과제를 총괄 기획한 SK SUPEX추구협의회 ICT위원회 산하 AI 소위원장인 이종민 SK텔레콤 미래 R&D 담당은 “이번 사례는 SK하이닉스와 SK텔레콤, 두 관계사의 AI와 반도체 역량을 융합해 선도적인 기술을 성공적으로 개발했다는 데에 그 의의가 있다”며 “앞으로도 SK 관계사 간의 시너지를 통해 고객에게 기술 기반의 새로운 가치를 제공하고, 국내·외 ICT R&D 생태계 조성에도 기여하겠다”고 향후 계획을 밝혔다.

SK하이닉스가 개발한 CMS는 OCP(Open Compute Project) 글로벌 서밋에서 첫선을 보인 후, 11월 초에는 SK 테크 서밋(한국)에서도 시연될 예정이다. 앞으로도 SK하이닉스는 고객 관점에서 부가적인 가치를 제공하는 CXL 메모리 관련 연구 개발 및 협업을 적극적으로 전개할 계획이다.