SK하이닉스가 지난 9일부터 나흘간 미국 캘리포니아주 새너제이(San Jose)에서 열린 ‘AI Hardware & Edge AI Summit 2024(이하 AI 하드웨어 서밋)’에 참가했다. AI 하드웨어 서밋은 글로벌 IT 기업과 유망 스타트업 등이 참가해 최신 기술과 연구 결과를 공유하고 네트워킹을 통해 산업 내 협력 기회를 모색하는 자리다.

▲ AI 하드웨어 서밋에 설치된 SK하이닉스 부스 모습

회사는 이번 AI 하드웨어 서밋에서 ‘데이터센터부터 엣지 디바이스*까지, AI 성능을 가속하는 AiM*(Boost Your AI: AiM is What You All Need From Data Center to Edge Device)’이라는 슬로건을 걸고, 가속기 카드인 AiMX* 등 AI 시대를 위한 기술을 선보였다.

* AiM(Accelerator-in-Memory): SK하이닉스의 PIM 반도체 제품명, PIM은 메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀 수 있는 차세대 기술
* 엣지 디바이스(Edge-Device): 인간과 매일매일 접촉하며 데이터를 만들어내는 기기
* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속기 카드 제품

▲ AI 하드웨어 서밋에 전시된 AiM 칩과 AiMX 카드

이번 행사에서 선보인 AiM/AiMX은 최근 비약적으로 발전하고 있는 생성형 AI를 위한 최고의 솔루션이다. 생성형 AI에 활용되는 대규모 언어 모델(Large Language Model, 이하 LLM)의 크기가 지속적으로 증가하고 있으며, 이로 인한 데이터센터의 컴퓨팅 비용 역시 빠르게 상승하고 있다. SK하이닉스는 자사의 AiM이 메모리 내에서 일부 연산을 수행해 기존 메모리 대비 높은 대역폭과 우수한 에너지 효율성을 보이며, LLM 기반의 생성형 AI가 요구하는 높은 컴퓨팅 성능을 더 경제적으로 구현할 수 있게 해준다고 설명했다.

▲ AI 하드웨어 서밋에서 AiMX 카드를 활용해 최신 LLM을 시연하고 있는 모습

전시 부스에서는 최신 LLM인 ‘Llama3 70B*’ 활용해 AiMX의 성능을 시연했다. 이번에 공개된 AiMX는 메모리 용량이 16GB에서 32GB로 기존 대비 두 배 늘어 났으며, 여러 데이터 그룹을 동시에 처리하는 기법인 Multi-Batch로 데이터를 처리해 업계 관계자들의 많은 관심을 받았다.

* Llama3(Large Language Model Meta AI): 메타의 최신 LLM 모델로 700억 개의 매개변수를 가짐

또한, SK하이닉스는 이번 행사에서 데이터센터뿐만 아니라 엣지 디바이스(온디바이스 AI)에도 적용 가능한 AiM 솔루션을 공개했다. 회사는 “기존 엣지 디바이스의 메모리 인터페이스를 변경하지 않고도 성능을 높일 수 있는 것이 이번 솔루션의 강점”이라며 “모바일 D램을 자사의 AiM으로 대체할 경우, 기존 대비 최대 3배 이상의 LLM 속도 향상과 에너지 효율이 기대된다”고 밝혔다.

▲ 임의철 부사장이 데이터센터와 엣지 디바이스에서의 AiM 제품 개발 계획을 발표하고 있다.

한편, SK하이닉스는 세션 발표를 통해 AiM 솔루션의 미래 비전도 제시했다. 임의철 부사장(Solution AT 담당)은 ‘LLM 서비스의 성능 향상(Accelerating LLM Services from Datacenter to Edge Device)’을 주제로 데이터센터부터 엣지 디바이스까지 AiM 기술이 LLM 서비스를 위한 핵심 솔루션임을 강조했다. 특히 모바일 D램을 기반한 온디바이스 AI용 AiM 제품 개발 계획을 공유하며, 청중들의 이목을 끌었다.

SK하이닉스는 앞으로도 다양한 AiM 솔루션을 통해 글로벌 기업들과 협력해 차세대 AI 가속기 생태계를 구축하고, 온디바이스 AI 시장에서도 리더십을 강화해 나간다는 계획이다.

SK하이닉스가 지난 6월 20일, 21일 양일간 대전광역시 카이스트(KAIST)에서 AI 및 반도체 관련 학과 학부생과 대학원생을 대상으로 ‘AiM(Accelerator-in-Memory) 이론 및 실습’ 교육을 진행했다.

회사는 카이스트를 비롯해 국내 주요 대학교의 학부 및 대학원 수강생들을 대상으로 거대언어모델(LLM)*과 SK하이닉스의 PIM* 반도체인 AiM*에 대한 이론 및 실습 교육을 제공했다. 특히 이번 교육은 PIM 제품을 활용한 실습이 포함돼 강의 전부터 많은 관심을 끌었다.

* 거대언어모델(LLM, Large Language Model): 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당
* PIM(Processing-In-Memory):메모리 반도체에 연산 기능을 더해 AI와 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀어낼 수 있는 차세대 기술
* AiM(Accelerator-in-Memory): SK하이닉스의 PIM 반도체 제품명, GDDR6-AiM이 이에 포함됨

▲ 교육 자료로 활용된 AiMX의 실물 모습

이번 강의 주제인 PIM은 메모리 반도체에서 일부 연산을 수행해 데이터 이동을 최소화함으로써 데이터 처리 속도가 향상될 뿐만 아니라, 전성비(전력 대비 성능비)도 높아지는 특징이 있다. 따라서 AI와 빅데이터 등 방대한 양의 데이터 연산이 필요한 분야에서 많은 관심을 받으며, 기존 컴퓨팅 생태계를 혁신할 차세대 반도체로 각광받고 있다.

이에 SK하이닉스와 카이스트 PIM반도체설계연구센터는 하드웨어(Hardware)와 소프트웨어(Software)를 아우르는 PIM 전문가 양성을 위해 이번 교육을 기획했으며, 이를 계기로 앞으로도 더욱 많은 교육 프로그램을 추진해 미래 반도체 인재 양성에 힘쓰겠다고 밝혔다.

뜨거운 열의가 가득했던 교육 현장

이날 현장에는 SK하이닉스 PIM HW팀 김정빈, 신경철 TL이 강사로 나섰다. 강의를 듣는 수강생들의 열기는 때아닌 6월의 폭염만큼이나 뜨거웠다.

교육 첫날에는 ▲인공지능(AI)과 거대언어모델이란?(What is AI and LLM?) ▲챗봇 서비스는 우리에게 어떻게 제공될까?(How to serve Chatbot in the real world?) ▲SK하이닉스의 GDDR6-AiM과 AiMX(SK hynix’s GDDR6-AiM and AiMX) 등을 주제로 이론 강의가 진행됐다.

▲ 이론 강의를 진행한 김정빈 TL(첫 번째 사진)과 수강생들의 모습

AI와 LLM에 대한 기본 지식부터 LLM을 활용한 챗봇 서비스 구동 원리, 그리고 AI의 성능 향상을 위해 SK하이닉스의 AiM이 어떻게 작용하는지 다뤄졌다. 수강생들은 강의 내용을 부지런히 정리하며 수업에 집중했다. 특히, 질의응답 시간에는 질문이 그치질 않고 이어졌는데, 작은 궁금증까지 모두 해결하고자 하는 수강생들의 의지를 엿볼 수 있었다.

김정빈 TL은 “지루할 수 있는 이론 수업에서 조금이라도 더 자세히 듣고자 하는 수강생들의 표정과 끊이지 않는 질문이 인상적이었다”고 말했다.

▲ 실습 강의를 진행한 신경철 TL(첫 번째 사진 오른쪽)과 수강생들의 모습

다음날에는 실습이 진행됐다. 수강생들은 SK하이닉스의 GDDR6-AiM이 여러 개 집적된 AiMX 가속기 카드를 살펴보고, PCIe* 폼팩터에 맞춰 AiMX*가 장착된 서버 환경 속에서 드라이버를 설치하는 등 하드웨어를 직접 구동해 봤다.

* PCIe(Peripheral Component Interconnect express): 디지털 기기의 메인보드에서 사용하는 직렬 구조의 고속 입출력 인터페이스
* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 거대 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속기 카드 제품

이후, SK하이닉스에서 개발한 AiMX SDK(Software Development Kit)를 활용해 소프트웨어 실습을 이어갔다. 해당 실습을 통해 수강생들은 AiM을 활용해 AI 응용 서비스의 주된 워크로드(Workload)인 GEMV 연산*을 가속하는 과정을 체험해 볼 수 있었다. 이를 통해 AiMX 유무에 따른 LLM 추론 과정의 속도 차이를 직접 확인하며 하드웨어와 소프트웨어 측면에서 실습이 진행됐다.

* GEMV 연산: 행렬과 벡터를 곱하는 함수로 LLM을 이루는 중요한 기본 연산

▲ 서버용 PCIe 폼팩터에 AiMX를 장착하고 있는 모습(첫 번째 사진)과 폼팩터에 장착된 AiMX를 살펴보고 있는 엄소연 수강생(두 번째 사진)

카이스트 전기/전자공학부 박사과정의 엄소연 수강생은 “논문으로는 하드웨어 구성이나 성능 이외의 정보를 얻는 데 한계가 있는데, 이번 실습을 통해 직접 AMiX 제품을 보며, 하드웨어를 작동하기 위해 무엇이 필요하고, 어떻게 사용해야 하는지 경험해 볼 수 있어서 유익한 시간이었다”며 소감을 전했다.

PIM 전문가 양성의 초석이 될 ‘AiM(Accelerator-in-Memory) 이론 및 실습’ 교육은 큰 호응을 얻으며 성공적으로 마무리됐다. 수강생들은 쉬는 시간까지 강사들을 찾아와 개인적인 궁금증을 해결하고자 했고, 하루 종일 진행된 실습 강의가 짧게만 느껴질 정도였다며 아쉬움을 털어놓기도 했다.

▲ 본격적인 교육 전 당부의 말을 전하고 있는 이윤종 PIM반도체설계연구센터 부센터장

카이스트 PIM반도체설계연구센터 이윤종 부센터장은 “학교에서 배우는 것과 산업 현장에서 필요한 것은 차이가 있지만, 글로벌 AI 산업을 이끌어가는 SK하이닉스의 강의를 통해 이러한 간극을 줄일 수 있었던 것 같다”며 “수강생들의 열의가 뜨거웠던 만큼 앞으로도 SK하이닉스와 더 많은 교류를 통해 이와 같은 교육이 이뤄지길 기대한다”고 전했다.

강의를 마친 김정빈 TL은 “PIM 개발을 위해서는 AiM 반도체 단계부터 시작해 하드웨어, 소프트웨어까지 전반에 걸쳐 높은 이해도를 갖춘 전문가가 필요하다”며 “이번 강의를 들은 수강생들 중, AiM 개발을 함께할 수 있는 PIM 전문가가 탄생하기를 진심으로 바란다”고 말했다.

끝으로 신경철 TL은 “PIM이라는 주제가 생소하고 어려운 개념일 수 있는데, 관심을 갖고 열정적으로 수강해 준 수강생분들께 감사의 마음을 전한다”며 “향후 개발될 온디바이스 AI*용 AiM 제품들에 대해서도 강의할 기회가 있기를 바란다”고 전했다

* 온디바이스(On-Device) AI: 물리적으로 떨어진 서버의 연산을 거치지 않고 기기 자체에서 AI 기능을 구현하는 기술. 스마트 기기가 자체적으로 정보를 수집, 연산하기 때문에 AI 기능의 반응 속도가 빨라지고 사용자 맞춤형 AI 서비스 기능도 강화되는 장점이 있음

반도체 산업도 생성형 AI 열풍에 발맞춰 숨 가쁜 한 해를 보냈다. 특히 AI 연산에서 메모리의 역할이 더더욱 중요해지며, 메모리 기업들은 AI용 반도체를 개발하는 데 많은 시간과 노력을 쏟았다.

그 가운데서도 SK하이닉스는 올해 AI 메모리 시장에서 가장 큰 두각을 보였다. ▲글로벌 1위 HBM(High Bandwidth Memory)을 필두로 ▲PIM(Processing-In-Memory) 반도체 GDDR6-AiM 기반의 가속기 카드 ‘AiMX’ 시제품을 선보였고 ▲차세대 메모리 솔루션 ‘CXL(Compute Express Link)’ 상용화에도 힘썼다.

뉴스룸은 SK하이닉스 AI 메모리 3종의 한 해를 정리했다. 주요 성과부터 로드맵까지 한눈에 살펴보자.

* 생성형 인공지능(Generative AI): 딥 러닝 모델을 사용하여 대량의 데이터를 학습, 이용자의 요구에 따라 능동적으로 결과를 생성하는 인공지능 기술

SK하이닉스, 적재적소 활용 가능한 AI 메모리 라인업 구축

성과에 앞서 SK하이닉스의 AI 메모리 3종을 자세히 알아보자. 특징과 활용도가 어떻게 다르기에 각각 개발에 나서는 것일까?

▲ SK하이닉스가 2023년 8월 공개한 HBM3E 제품

먼저, HBM은 여러 개의 D램을 수직으로 연결해 데이터 처리 속도를 높인 초고성능 D램을 말한다. 고속 병렬 연산에 적합하도록 메모리 대역폭*을 극대화한 것이 특징이다.

HBM은 모든 AI 분야에 활용할 수 있지만, 특히 학습에 효과적이다. AI 학습 과정에서 GPU로 전달하는 데이터가 가장 크고 많기 때문이다. 소프트웨어(SW) 개발이 함께 필요한 PIM 대비 비교적 빠르고 효과적으로 연산 성능을 높일 수 있어 현재 가장 각광받는 AI 메모리로 꼽힌다.

* 대역폭(Bandwidth): 데이터가 지나는 통로를 의미하며, 대역폭이 넓을수록 한 번에 입출력하는 데이터의 양이 많다.

▲ GDDR6-AiM을 여러 개 모아서 개발한 PIM 가속기 카드 AiMX

PIM은 메모리 반도체에 연산 기능을 더한 지능형 메모리 반도체다. 이는 GPU와 CPU가 메모리에서 데이터를 불러와 연산하는 폰노이만 구조와 달리 메모리 내부에서 연산하는 것이 특징이다.

PIM은 메모리 반도체 내부 저장 공간(뱅크, Bank)마다 전용 내부 데이터 경로의 대역폭을 활용해 연산 속도를 높이며, 연산을 마친 소량의 데이터만 xPU로 전달하기에 병목 현상*과 데이터 이동 거리를 획기적으로 줄여 전력 소모량을 절감하는 효과도 있다.

특히, PIM은 AI 연산 중 추론 영역에 특화된 제품이다. 학습은 시간당 얼마나 많은 데이터를 처리하는지가 중요하고, 추론은 데이터를 지연시간(Latency) 없이 얼마나 빠르게 처리하는지가 사용자의 요구 사항을 충족하기 위한 핵심 요소이기 때문에, 메모리가 연산한 값을 신속히 전달할 수 있는 PIM은 추론에 더 효과적인 것이다.

* 병목 현상: 다음에 처리해야 할 데이터가 메모리에서 도달하지 못해 컴퓨팅 장치가 대기하는 상황이 발생하는 현상

▲ SK하이닉스가 2022년 공개한 DDR5 96GB CXL 2.0 메모리 샘플

CXL은 PCIe* 기반으로 CPU, GPU, 가속기 등 여러 장치와 메모리를 연결하는 통합 인터페이스 기술이다. AI 연산을 위해선 메모리 용량과 대역폭 확장이 필수인데, 기존 시스템에서는 한계가 있다. CPU마다 확장할 수 있는 D램 개수가 제한적이고, 확장한다 해도 대규모 데이터를 처리하는 데는 역부족이기 때문이다.

PCIe 기반의 CXL을 사용하면 모듈을 추가하는 방식으로 메모리 용량과 대역폭을 크게 늘릴 수 있다. 여러 장치에 CXL 메모리를 효율적으로 나눠 쓸 수 있고, 가속기를 붙여 연산에 활용할 수도 있다.

즉, 기존 시스템 변형 없이 성능을 높이고, 전체 메모리를 효율적으로 관리하는 수단을 제공하며, 공유 및 연산 기능으로 AI 데이터를 처리하는 단계별(학습·추론) 환경을 구축할 수 있게끔 도와주는 솔루션이 CXL인 것이다. 이를 위해 CXL 메모리 컨트롤러*가 적용되는데, 이는 여러 장치가 CXL 메모리를 공유할 수 있도록 해준다.

* PCIe(Peripheral Component Interconnect Express): 디지털 기기의 메인보드에서 사용되는 직렬 구조의 고속 입출력 인터페이스
* CXL 메모리 컨트롤러: CPU 등으로부터 명령어를 받은 뒤 D램을 제어해 데이터를 읽고 쓰는 기능을 하는 시스템 반도체

이처럼 HBM, PIM, CXL은 AI 메모리로 불리지만, 저마다 특징과 쓰임이 모두 다르다. 이에 SK하이닉스는 고객이 필요에 따라 자사 환경에 맞는 메모리를 효과적으로 활용할 수 있도록 3종의 솔루션을 모두 개발하며 AI 메모리 라인업을 탄탄히 갖춰 나가는 중이다.

글로벌 1위 수성… HBM 경쟁 우위 굳건히 지켰다

SK하이닉스는 세계 최초로 TSV 기반 HBM 제품을 내놓은 이래 MR-MUF*, 어드밴스드 MR-MUF* 등의 선행 기술을 접목하며 지속적인 성능 향상에 나서고 있다. 2013년 회사는 TSV* 기술로 D램 칩 사이사이에 수천 개의 데이터 이동 통로를 만들어 고용량, 고대역폭 HBM을 구현했다. 이후 MR-MUF 기술로 D램 칩을 쌓고 포장해 생산성을 높였다. 최근에는 어드밴스드 MR-MUF까지 개발, 더 작은 크기로 고용량 패키지를 만들고 열방출 성능도 개선했다[관련기사].

* MR-MUF(Mass Reflow-Molded UnderFill): 매스 리플로우(MR)는 모든 범프를 한 번에 녹여 수직 적층된 칩을 연결하는 기술, 몰디드 언더필(MUF)은 적층된 칩 사이에 보호재를 넣은 후 전체를 한 번에 굳히는 기술로, 칩을 하나씩 쌓을 때마다 필름형 소재를 깔아주는 방식 대비 공정이 효율적이고 열 방출도 효과적이다.
* 어드밴스드 MR-MUF(Advanced MR-MUF): ‘웨이퍼 휨 방지 기술’로 더 얇은 칩을 더 많이 적층하고 ‘신규 보호재’로 언더필을 진행하여 열 방출 성능을 높이는 기술
* TSV(Through Silicon Via): D램 칩에 수천 개의 미세한 구멍을 뚫어 상·하층 칩의 구멍을 수직 관통하는 전극으로 연결하는 기술

이 같은 기술력을 바탕으로 올해 SK하이닉스는 24GB(기가바이트) 12단 HBM3(이하 12단 HBM3)를 개발했다[관련기사]. 지난 8월에는 세계 최고 성능의 HBM3E* 개발을 마쳤다[관련기사]. 이 제품의 핀당 처리 속도는 초당 9.2Gb 이상이며, 데이터 처리량은 초당 1.15TB(테라바이트)에 달한다. 용량은 12단 HBM3와 같지만, 층수는 8단으로 더 적다. 12단 개발 시 더 많은 용량을 확보할 수 있는 셈이다. 특히 이 제품은 고객 인증 과정에서 고사양 GPU의 성능을 최상위로 끌어올리는 것으로 밝혀져, 더 많은 기대를 받고 있다.

* 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)를 거쳐 5세대(HBM3E)까지 개발됨. HBM3E는 HBM3의 확장(Extended) 버전

HBM3E 개발을 성공적으로 마친 SK하이닉스는 국내외 행사에 참여하며 기술 리더십을 공고히 했다. 지난 10월 OCP 글로벌 서밋 2023에서 HBM3E를 세계 최초로 공개한 회사는 하반기 주요 행사에 참석해 HBM3E의 경쟁 우위를 널리 알렸다[관련기사].

경쟁 우위는 내년에도 지속된다. GSM 김왕수 팀장은 “내년에는 HBM3E의 양산·판매가 계획되어 있어, 자사의 시장 지배력이 다시 한번 극대화할 것”이라며 “후속 제품인 HBM4 개발도 본격화할 예정이기에 내년은 SK하이닉스의 HBM이 새로운 국면(Phase)을 맞는 한 해가 될 것”이라고 언급했다.

또 김 팀장은 “AI 산업이 빠르게 성장하는 만큼 HBM 제품도 현재 AI 서버에 국한된 것을 뛰어넘어 AI와 관련된 모든 영역으로 확장할 것”이라며 “이 시점에 자사의 HBM 제품은 AI 산업을 이끄는 매우 중요한 역할을 맡을 것”이라고 전망을 밝혔다.

저전력으로 10배 빠른 응답 속도… AiMX로 ‘눈도장’

SK하이닉스의 PIM은 GDDR6-AiM*을 시작으로 상용화에 한 발짝 다가서고 있다. GDDR6-AiM은 xPU와 함께 사용하는 지능형 메모리 반도체로, 그래픽 D램인 GDDR6에 가속기(Accelerator)*가 덧붙은 제품이다[관련기사].

* AiM(Accelerator-in-Memory): SK하이닉스의 PIM 반도체 제품명, GDDR6-AiM이 이에 포함됨
* 가속기(Accelerator): 각종 정보 처리와 연산에 특화 설계한 칩(Chip)을 사용해 만든 특수 목적의 하드웨어(Hardware) 장치를 통칭

SK하이닉스는 지난 9월, 이 메모리를 기반으로 한 AiMX* 시제품을 공개하며 업계 관심을 한 몸에 받았다. AiMX는 GDDR6-AiM 여러 개를 연결해 성능을 높인 가속기 카드로, GPU 대신 AI 연산에 활용할 수 있다. LLM 추론 기반 서비스에 특화된 이 제품은 GPU 대비 빠른 응답 속도와 더 적은 전력으로 데이터를 처리한다.

* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속기 카드 제품

같은 달, 회사는 AI 하드웨어 & 엣지 AI 서밋 2023에서 AiMX 시제품의 실성능을 공개하기도 했다. AiMX 시제품을 탑재한 서버에서 메타(Meta)의 생성형 AI인 ‘OPT(Open Pre-trained Transformer) 13B(Billion)’ 모델을 시연한 것이다. 130억 개 매개변수를 가진 AI 모델로 추론을 진행했는데, AiMX 시스템은 GPU를 탑재한 시스템 대비 반응 속도는 10배 이상 빠르지만, 전력 소모는 1/5 수준이다[관련기사].

올 하반기 SK하이닉스는 각종 행사에 참여해 AiMX가 바꿔나갈 미래에 관해서도 중요하게 언급했다. 특히 AiMX가 빠른 응답 속도로 AI 서비스의 답변 속도를 높이고, 낮은 소비 전력으로 운영 비용을 크게 줄여준다고 강조했다.

본격적인 상용화를 위해 내년에는 성능과 활용 범위를 더욱 높일 계획이다. Solution개발 권용기 팀장은 “SK하이닉스의 AiM은 AI 추론 분야에서의 핵심인 가격 경쟁력을 갖춘 유일한 AI 솔루션”이라며 “데이터센터부터 온디바이스(On-Device) AI*를 탑재한 모바일까지 AI 추론 영역에서 폭넓게 활용될 것”이라고 이야기했다.

* 온디바이스(On-Device) AI: 인터넷 접속 없이 스마트폰과 같은 단말기 내에서 바로 AI 연산과 추론을 처리하여 효율을 높이는 개념

또, “수백 GB급 LLM에 대응하기 위해 스펙 향상을 진행한다”며 향후 로드맵을 언급했다. SK하이닉스는 고용량 AiMX 시제품을 내놓고, OPT 13B보다 더욱 큰 규모의 LLM을 시연한다는 계획이다.

CXL 상용화 초읽기… 다양한 AI 서비스에 최적화된 환경 제공한다

현재 SK하이닉스는 CXL 기반 3가지 솔루션으로 AI 메모리 시장을 공략하고 있다. ▲CXL 2.0 E3.S 메모리 확장 솔루션(Memory Expansion Solution, 이하 확장 솔루션) ▲CXL 풀드 메모리 솔루션(Pooled Memory Solution) ▲CMS(Computational Memory Solution) 2.0 등이다[관련기사].

확장 솔루션은 기존 서버 시스템의 메모리 용량을 확장하고, 대역폭을 높여주는 솔루션이다. SSD와 같은 EDSFF E3.S 폼팩터를 사용하고 PCIe 5.0을 지원해, 손쉽게 부착해 용량과 성능을 높일 수 있다[관련기사].

올해 SK하이닉스는 제품화를 위해 많은 고객과 검증 협업을 진행했다. 5월에는 실물 서버에 적용한 DDR5 96GB CXL 2.0 메모리를 공개, 상용화에 한 발짝 더 다가섰다. 적극적인 협업을 통해 고객사의 솔루션 채용을 이끌어낸 것은 올해 CXL 분야에서 거둔 가장 큰 성과다.

풀드 메모리 솔루션은 여러 개의 CXL 메모리를 묶어 풀(Pool)을 구성하고, 여러 호스트(CPU, GPU 등)가 용량을 나눠 쓰도록 해주는 솔루션이다. 유휴 메모리가 없도록 사용을 최적화하고, 전력 소모를 줄여 비용을 절감하는 효과가 있다. SK하이닉스는 이를 구현한 ‘나이아가라(Niagara): CXL 분리형 메모리 솔루션’ 시제품을 공개하며[관련기사], 메모리 확장에 이은 또 다른 경쟁력을 보여줬다.

CMS 2.0은 CXL 메모리에 연산 기능을 통합한 솔루션이다. 메모리 확장성이 높은 CXL의 장점에 머신러닝 및 데이터 필터링 연산 기능이 더해진 것이 특징이다. 지난해 10월 CMS 개발에 성공한 SK하이닉스[관련기사]는 올해 기술을 고도화하는 한편, 성능 시연에 나서며 경쟁력을 알렸다.

CXL 3종의 성능은 델 테크놀로지스 월드 2023[관련기사], 슈퍼컴퓨팅 2023[관련기사] 등에서 확인할 수 있었다. 이를 통해 회사는 메모리 확장 솔루션이 기존 시스템 성능을 얼마나 향상하고, ‘나이아가라’ 시제품이 인공지능과 빅데이터 처리 분산 시스템에서 메모리 성능을 어떻게 높이며, CMS 2.0이 데이터 처리 성능과 에너지 효율 향상에 얼마나 기여하는지 보여줬다.

내년에는 상용화에 주력한다. SK하이닉스는 메모리 확장 솔루션 제품화 및 양산에 나선다. GSM 최원하 TL은 “96GB와 128GB 제품을 중심으로 24년 상반기에는 고객 인증을 마치고, 하반기에 상용화할 예정”이라며 “CXL 2.0 메모리 확장 솔루션을 적용한 고객은 DDR5만 탑재한 기존 시스템 대비 최대 50% 대역폭 향상을 기대할 수 있고, 용량 확장도 최대 50~100%까지 가능하다”고 언급했다.

이제 하나의 서버에 고대역폭·고용량 메모리를 탑재하는 방식으로는 AI 시대에 대응할 수 없다. 미래의 AI 시스템은 HBM으로도 충족할 수 없는 대용량 메모리를 요구할 수도 있다. 그렇기에 확장 솔루션으로 메모리 용량을 늘리고, 풀드 메모리 솔루션으로 공유하며, AI 연산까지 가능한 CXL은 주목받을 수밖에 없다.

이에 최 TL은 “SK하이닉스는 공유, 연산 등 다양한 응용 사례를 창출하는 동시에 HBM이 주도하는 AI 시장에 더불어 더 많은 용량으로 유연하게 확장할 수 있는 CXL 제품을 개발할 것”이라고 계획을 밝혔다.

HBM으로 시장을 선도하는 가운데 AiMX, CXL 솔루션으로 AI 메모리 라인업을 탄탄하게 마련해 놓은 SK하이닉스. 내년 회사는 후속 제품들의 상용화를 본격화하며, Global No.1 AI Company의 지위를 더욱 굳건히 할 계획이다.

SK하이닉스는 지난 16~17일 서울 삼성동 코엑스에서 열린 ‘SK 테크 서밋 2023’에 참가해 인공지능(Artificial Intelligence, AI) 시대를 이끄는 첨단 메모리 제품과 기술을 선보였다.

올해로 8회를 맞은 SK 테크 서밋은 SK그룹의 기술 역량을 결집한 ICT 컨퍼런스 행사다. 올해는 ‘AI Everywhere for a better future’를 주제로 SK그룹 멤버사 17개사를 포함한 총 33개사가 115건의 발표와 103건의 전시를 선보이며 역대 최대 규모로 열렸다(이 중 SK그룹 발표 99건, 전시 93건). 특히, 이번 행사에는 아마존웹서비스(AWS), 구글(Google) 등 글로벌 빅테크 기업은 물론 SK텔레콤 주도로 운영되고 있는 AI 기술 협의체인 K-AI 얼라이언스(K-AI Alliance) 회원사 등도 파트너사 자격으로 참여했다.

▲ 곽노정 SK하이닉스 대표이사 사장이 ‘SK 테크 서밋 2023’ 행사장 내 SK하이닉스의 전시관을 참관하고 있다.

현장을 찾은 SK하이닉스 곽노정 대표이사 사장은 SK하이닉스의 HBM을 포함한 총 11개 전시 부스를 둘러보며 SK그룹이 AI를 통해 만들어가는 현재와 미래의 모습을 확인했다.

SK하이닉스, 글로벌 No.1 AI 메모리 기업의 기술 역량 선보여

SK 테크 서밋 2023의 전시 부스가 준비된 코엑스 1층 그랜드볼룸에는 SK그룹 멤버사 17개사를 포함한 총 33개사가 AI, AR/VR, 빅데이터, 블록체인, 클라우드, ICT 융합 등 6개 기술 영역에서 103건의 다양한 기술들을 선보였다.

SK하이닉스는 AI 구현의 핵심인 차세대 메모리 솔루션을 선보였다. 이 중 생성형 AI와 함께 가장 주목받고 있는 ▲고대역폭 메모리 HBM3* ▲지능형 메모리 AiM* ▲AI 가속 솔루션 시제품 AiMX* 전시에 많은 관객들이 몰리며, AI용 메모리에 대한 세간의 관심을 입증했다. 각 부스에서는 제품 전시와 성능 시연이 함께 진행됐다.

* HBM(High Bandwidth Memory): 여러 개의 D램 칩을 TSV(Through Silicon Via, 실리콘 관통 전극)로 수직 연결해 데이터 처리 속도를 혁신적으로 끌어올린 고부가가치, 고성능 제품
* AiM(Accelerator in Memory): SK하이닉스의 PIM(Process In Memory)** 반도체 제품명, GDDR6-AiM이 이에 포함
** PIM(Processing-In-Memory): 메모리 반도체에 연산 기능을 더해 인공지능(AI)과 빅데이터 처리 분야에서 데이터 이동 정체 문제를 풀 수 있는 차세대 기술
* AiMX(AiM based Accelerator): GDDR6-AiM 칩을 사용해 개발한 대규모 언어 모델(Large Language Model, 대량의 텍스트 데이터로 학습하는 인공지능으로 챗GPT가 이에 해당)에 특화된 SK하이닉스의 가속 솔루션 시제품

특히, 엔비디아의 인공지능용 그래픽처리장치(GPU)인 ‘H100’에 탑재된 SK하이닉스의 HBM3는 회사의 기술력과 함께 인공지능용 서버에 최적화된 제품임을 보여주며 관람객의 시선을 끌었다.

또, 고성능 컴퓨팅(High-Performance Computing, HPC) 시장에서 각광받는 ▲메모리 대역폭을 늘려 효율적인 컴퓨팅을 가능하게 하는 CXL* 솔루션 ▲세계 최고속 서버용 D램인 DDR5 MRDIMM*도 관객들의 이목을 집중시켰다.

* CXL(Compute Express Link): 고성능 컴퓨팅 시스템을 효율적으로 구축하기 위한 PCIe 기반의 차세대 인터커넥트 프로토콜. 기존 D램 제품과 함께 서버 시스템의 메모리 대역폭을 늘려 성능을 높이고, 쉽게 메모리 용량을 확대할 수 있는 기능을 지원함
* MRDIMM(Multiplexer Combined Ranks Dual In-line Memory Module): 여러 개의 D램이 기판에 결합된 모듈 제품으로, 모듈의 기본 정보처리 동작 단위인 랭크(Rank)** 2개가 동시 작동되어 속도가 향상된 제품임
** 랭크(Rank): D램 모듈에서 CPU로 내보내는 기본 데이터 전송 단위의 묶음. 보통 64바이트(Byte)의 데이터가 한 묶음 단위가 돼 CPU에 전송됨

▲ SK하이닉스가 ‘SK 테크 서밋 2023’에서 전시한 고대역폭 메모리 HBM3가 탑재된 서버와 AI 가속 솔루션 신제품 AiMX의 모습

CXL 전시 부스에서 SK하이닉스는 ▲CXL 메모리에 연산 기능을 더한 CMS* ▲CXL 기반의 풀드 메모리(Pooled Memory) 솔루션*을 함께 소개했다. 특히, 제품 구동 시연과 함께 성능 및 에너지 효율 향상 사례를 공유하며 CXL 기반의 메모리 솔루션이 인공지능과 빅데이터 처리 분산 시스템에서 어떻게 메모리 성능을 높일 수 있는지 보여줬다.

이와 함께 전시된 세계 최고속 서버용 D램인 MRDIMM은 데이터를 버퍼에 모아 한꺼번에 전송하는 기능을 탑재해 속도를 높이는 방식을 적용, 기존 제품보다 약 55% 빠른 동작 속도를 선보이며 눈길을 끌었다.

* CMS(Computational Memory Solution): 고용량 메모리를 확장할 수 있는 CXL 메모리에 빅데이터 분석이나 AI와 같은 대용량 데이터가 필요한 응용 프로그램에서 주로 사용되는 연산 기능이 포함된 메모리 솔루션
* 풀드 메모리(Pooled Memory): 여러 호스트가 동시에 접속할 수 있는 대용량의 CXL 메모리를 묶어 풀(Pool)을 만들고 이를 각 호스트가 효과적으로 메모리 용량을 나누어 사용할 수 있도록 해 유휴 메모리가 없도록 사용량을 최적화하여 비용을 절감하고 공유 메모리 제공을 통해 시스템의 성능을 개선하는 기술

▲ SK하이닉스가 ‘SK 테크 서밋 2023’에서 전시한 CXL과 세계 최고속 서버용 D램인 DDR5 MRDIMM의 모습

차세대 메모리 모듈 LPCAMM2(Low Power Compression Attached Memory Module 2)도 전시됐다. LPCAMM2은 LPDDR5X 기반의 모듈 솔루션 제품으로 기존 DDR5 SODIMM* 2개를 LPCAMM2 1개로 대체하는 성능 효과를 가지면서 공간 절약뿐만 아니라 저전력과 고성능 특성을 구현한 것이 특징이다. 향후 LPCAMM2는 노트북 시장을 시작으로 저전력, 고성능 특성이 요구되는 서버, 데이터 센터, 엣지 컴퓨팅 등 적용 분야가 점차 확대될 것으로 보인다.

* SODIMM: 데스크탑 및 노트북 등 PC에서 사용되는 메모리 모듈을 통칭하는 개념. SODIMM(Small Outline DIMM)은 PC에서 사용되는 초소형 모듈로 전체 길이가 짧음

▲ SK하이닉스가 ‘SK 테크 서밋 2023’에서 전시한 차세대 메모리 모듈 LPCAMM의 모습

이 밖에도 SK하이닉스는 고성능 AI센서가 탑재된 보안 카메라, 반도체 센서를 적용한 바이오 제품 등 SK그룹 ICT위원회 산하에서 진행 중인 다양한 협업 성과도 공개했다. 한 예로 SK하이닉스의 CXL 기반 차세대 연산 메모리 솔루션인 CMS를 SK텔레콤의 데이터 분석 플랫폼인 라이트닝 DB(Lightning DB)*에 적용하여 지도상의 유동 인구 정보를 분석하는 과정이 소개됐다. 이는 세계 최초 NMP*를 적용한 CXL 메모리 솔루션으로 빅데이터 분석 분야에서 성능과 에너지 효율 개선이 가능함을 보여준 사례가 됐다.

* 라이트닝 DB(Lightning DB): SK텔레콤은 대용량의 데이터를 효율적으로 처리하기 위해 인-메모리 데이터 분석 플랫폼(In-Memory Data Analytics Platform) ‘라이트닝 DB’를 자체 개발, 다양한 상용 서비스에 적용해 왔다. 해당 플랫폼은 실시간 데이터 처리에 특화된 메모리 중심 설계로, 대용량 데이터를 작은 단위로 분할 저장 후, 최적화된 병렬 처리를 통해 높은 데이터 분석 성능을 자랑함
* NMP(Near-Memory Processing): CPU-메모리 간 데이터 이동 시 발생하는 병목 현상을 해결하고, 처리 성능 향상을 위해 메모리 주변에서 연산 기능을 수행하는 차세대 메모리 아키텍처

▲ SK하이닉스가 ‘SK 테크 서밋 2023’에서 시연한 CXL 기반 CMS

더 큰 시너지를 만드는 최첨단 기술 공유의 장

행사는 전시 외에도 강연과 발표·토의 세션, 체험 및 네트워킹 이벤트 등으로 다채롭게 꾸며졌다. SK그룹 관계사 구성원들이 연사로 참여해 반도체, 빅데이터, 클라우드 등 AI 관련 기술과 산업에 관한 주제로 총 115건의 다양한 세션이 펼쳐졌고, 관객들과 토론하며 기술 교류의 장을 완성했다. SK하이닉스 구성원들 역시 ‘AI: 반도체’ 트랙 등 다양한 세션에 참여했다.

▲ ‘SK 테크 서밋 2023’에서 PIM, 4D NAND, CXL 등 회사 AI 기술을 소개 중인 Solution개발 김일곤 TL, NAND개발 박강우TL, DT 조국일 TL 그리고 메모리시스템연구소 이경수 TL

Solution개발 김일곤 TL은 ‘AiM 기반 생성형 AI 모델 가속 솔루션, AiMX’를 주제로 발표했다. 김 TL은 AI 서비스의 응답 속도를 근본적으로 개선하고 전력 소모를 줄여서 운영 비용을 크게 줄이는 AiMX 솔루션의 특장점을 소개했다. 또, 앞으로도 고효율 저비용을 추구하는 생성형 AI 솔루션 공급을 목표로 다양한 글로벌 회사들과 협업을 통해 기술 연구와 개발을 지속해 나갈 것이라고 밝혔다.

이어서 NAND개발 박강우 TL은 ‘멀티모달(Multimodal) AI* 시대를 준비하는 4D NAND 설계 기술’을 주제로 세션을 진행했다. 박 TL은 AI 기술이 많은 데이터를 동시에 처리하는 멀티모달로 진화하며, 이로 인한 메모리의 수요는 폭발적으로 증가할 것이라 예측했다. 그리고 그는 구동회로(Peri)를 셀 하부에 넣어 전체 면적을 줄이고 적층 수를 늘린 PUC(Peri Under Cell), 셀을 3개 그룹으로 분류해 데이터를 저장하여 셀의 분포를 개선한 트리플 검증 방식(Triple Verify Program, TPGM) 등 SK하이닉스의 최신 4D 낸드 설계 기술을 소개하며 칩 사이즈는 줄이면서도 성능을 높이며 회사 제품의 가격 경쟁력을 높일 수 있게 됐다는 점을 강조했다.

* 멀티모달(Multimoda) AI: 기존에 텍스트 기반으로 사용자가 원하는 질문을 답변할 수 있는 거대 언어 모델 AI를 넘어 이미지, 동영상, 소리 등을 이해하고 이를 텍스트로 해석 하여 변환하거나 반대로 텍스트에서 이미지나 소리를 생성할 수 있는 AI 모델을 의미함

AI 메모리 반도체 기술뿐만 아니라 반도체 산업에서의 AI 기술 활용에 대한 흥미로운 발표도 이어졌다. DT 조국일 TL은 AI로 웨이퍼 불량을 학습하여 산업용 이상 탐지 시스템으로 활용할 수 있는 자체 개발 솔루션인 WINGS(Wafer Image Normality Grading System)를 소개했다. 조 TL은 이 솔루션을 통해 업무 효율 향상과 사고 예방 및 품질 개선에서 효과를 보고 있는 활용 사례를 통해 산업 전반에서 활용할 수 있는 가능성을 시사하며 회사의 AI 알고리즘 기술력도 소개했다.

이 밖에도 메모리시스템연구소 이경수 TL과 오세진 TL은 CXL 기반 플랫폼의 특장점과 메타(Meta)에서 개발한 소프트웨어 엔진인 캐시립(CacheLib), 데이터 처리 플랫폼 업체인 헤이즐캐스트(HazelCast)의 IMDG* 플랫폼에서의 적용 사례를 발표했다. 회사는 고객의 요구 사항에 맞춰 독자적으로 높은 대역폭과 용량을 확보할 수 있는 CXL 확장 솔루션을 개발하고, 이를 상용화된 기술에 적용한 사례를 시연하며 확장성과 효율성을 강조했다.

* IMDG(In-Memory Data Grid): 웹 애플리케이션 서버 상에서 동작하는 데이터를 웹 서버와 동일한 공간에 배치하여 서비스 응답 속도를 향상시키는 분산 소프트웨어 솔루션. 하나의 컴퓨터 서버에서 제공할 수 있는 메모리보다 많은 메모리를 필요로 하는 대규모 애플리케이션들을 지원하기 위해 사용됨

이번 행사를 통해 SK하이닉스는 SK그룹이 공표한 AI 중심 성장 전략과 발맞춰, ‘글로벌 No.1 AI 메모리 솔루션 공급자’로서 혁신적인 기술 연구와 개발을 지속해 나갈 것이라고 밝혔다.

▲ ‘AI Hardware & Edge AI 서밋 2023’ 내 SK하이닉스 현장 부스

▲ ‘AI Hardware & Edge AI 서밋 2023’ 내 SK하이닉스 현장 부스

▲ ‘AI Hardware & Edge AI 서밋 2023’ 내 SK하이닉스 현장 부스

▲ ‘AI Hardware & Edge AI 서밋 2023’ 내 SK하이닉스 현장 부스

AI 서밋은 영국 마케팅 기업 키사코 리서치(Kisaco Research)가 주최하는 연례 행사로, 글로벌 IT 기업과 유명 스타트업이 참가해 인공지능과 머신러닝 개발 성과를 공유하는 자리다. SK하이닉스가 이 서밋에 참가한 것은 올해로 세 번째다.

회사는 이번 서밋에서 ‘인공지능 성능을 가속하는 SK하이닉스의 PIM* 반도체 AiM*(Boost Your AI: Discover the Power of PIM with SK hynix’s AiM)’이라는 슬로건을 걸고, GDDR6-AiM과 이 제품을 여러 개 연결해 성능을 한층 개선한 가속기 카드 AiMX 시제품을 처음 선보였다[관련기사].

▲ GDDR6-AiM(Accelerator-in-Memory)을 여러 개 연결해 성능을 한층 개선한 가속기 카드 ‘AiMX’ 시제품

생성형 AI*는 데이터 학습량이 많을수록 우수한 결과를 내기 때문에, 대량의 데이터를 다루면서 저전력, 고속으로 작동하는 메모리를 필요로 한다.

▲ AiMX 시스템을 통해 거대 인공지능 언어 모델을 시연하는 모습

SK하이닉스는 이번 행사에서 메타(Meta)의 생성형 AI인 ‘OPT(Open Pre-trained Transformer) 13B’ 모델을 AiMX 시제품을 탑재한 서버 시스템에서 시연했다. GDDR6-AiM 칩을 탑재한 AiMX 시스템은 GPU를 탑재한 시스템 대비 반응 속도는 10배 이상 빠르지만, 전력 소모는 1/5 수준이다. 회사는 이번 시연을 통해 최신 가속기 대비 높은 성능*을 낼 수 있다는 점을 보여주며 인공지능을 서비스하는 글로벌 기업들의 주목을 받았다.

* AiMX 카드 내부 AiM Control Hub를 ASIC(Application-Specific Integrated Circuit, 특정 용도로 맞춤 제작한 회로)으로 개발 가정했을 때의 성능

▲ AiMX의 성능에 대해 설명하는 SK하이닉스 임의철 부사장(메모리솔루션담당)

▲ AiMX의 성능에 대해 설명하는 SK하이닉스 임의철 부사장(메모리솔루션담당)

이와 함께 회사는 AiMX의 장점을 구체적으로 설명하는 세션 발표도 현장에서 진행했다. SK하이닉스 임의철 부사장(메모리솔루션담당)은 ‘생성형 AI 서비스를 위한 효율적 AiM 가속 솔루션(Cost-Effective Generative AI Inference Acceleration using AiM)’이라는 주제로 GPU와 AiMX의 성능을 비교하며 차세대 지능형 메모리 반도체의 미래를 설명했다.

임 부사장은 “SK하이닉스의 AiMX는 기존 GPU를 쓸 때보다 고성능, 저전력에 비용도 절감할 수 있는 솔루션”이라며, “앞으로도 당사는 인공지능 시대를 이끌어갈 메모리 기술 개발을 이어나갈 것”이라고 밝혔다.