7.3. AI를 위한 저전력 메모리 기법(차세대 비휘발성 메모리 및 Hybrid 메모리 시스템)

차세대 비휘발성 메모리(NVM, Nonvolatile memory)

• DRAM 및 낸드플래시 메모리의 한계를 극복하기 위한 메모리
• 비휘발성 특성에 의해 데이터 유지에 높은 전력 효율성을 가지며 낸드플래시 대비 매우 빠른 읽기/쓰기 속도 특성

1) STT-MRAM(Spin-Transfer Torque Magnetic RAM)

• 스핀 전송 토크 현상을 이용하여 데이터를 저장
• 매우 높은 쓰기 내구성, 낮은 에너지 소모

2) ReRAM(Resistvie RAM)

• 저항 변화현상을 활용하여 데이터 저장
• 셀크기가 가장 작아 고밀도 저장장치로의 장점

3) PCM(Phase-change Memory)

• 물질의 상변화를 이용하여 데이터 저장
• 다양한 온도조건에서 안정적인 데이터 보존

NVM-DRAM 기반 hybrid 메모리

• AI 시스템은 방대한 양의 데이터를 실시간으로 처리해야하기 때문에 시스템의 높은 성능과 큰 용량을 요구함.
• Hybrid 메모리 시스템은 DRAM과 NVM의 단점을 보완하고 장점 극대화
• DRAM의 고속 접근성과 NVM의 비휘발성 특성을 활용

Hybrid 메모리 유형

1) 메인 메모리 방식(수평구조)

• DRAM과 NVM을 모두 메인메모리로 사용
• 운영체제나 메모리 관리자가 데이터의 배치를 관리
• 두 개의 메인 메모리에 접근하여 높은 대역폭을 얻을 수 있음

 

2) 캐시방식(수직구조)

• DRAM을 NVM의 캐시로 사용하는 메모리 시스템
• 자주 접근하는 데이터는 DRAM에 저장하고 그 이외에는 NVM에 저장하여 전력 효율을 높임
• DRAM을 통한 높은 성능을 유지할 수 있고 NVM을 지속적으로 사용하지 않기에 NVM의 내구성 유지에 이점

NVM-DRAM 기반 hybrid 메모리 연구 예시

1) AI 모델 파라미터 저장

 

• 용량이 큰 AI 모델의 파라미터를 NVM에 저장
• 학습이나 추론시 필요한 파라미터를 DRAM에 읽어와 사용

2) 데이터 캐싱

 

• 자주 사용하는 데이터셋 혹은 중간연산값을 DRAM에 캐싱
• I/O병목 현상을 완화하고 전체 처리속도 향상