운's

1) 스크래치 패드 메모리(SPM, Scratchpad memory)프로그래머나 컴파일러가 직접 관리하는 소용량의 고속 메모리캐시 메모리와 달리 직접적인 제어를 통해 데이터의 위치와 이동을 결정SRAM 기반 구조이고 캐시와 비슷한 기능이지만 원하는 데이터를 예측가능하게 사용할 수 있음.2) 데이터 재사용 및 메모리 최적화 기법루프 타일링(Loop Tiling)전체 데이터를 작은 블록으로 나누어 각 블록 단위 연산DiaNao에서 합성곱 모델(CNN) 기반 AI모델에 루프 타일링 기법을 적용하여 117배의 가속 효과와 21배의 에너지 절감효과 달성버퍼메모리 최적화SRAM 기반으로 프로세서와 메모리 사이의 일시적인 buffer를 두어 데이터 재사용을 극대화함목적에 맞게 입력, 출력, 가중치 등의 버퍼를 두어 ..

DRAM 기반 메모리 종류 및 특성DDR(Double Data Rate) DRAM 메모리 클럭의 상승/하강 엣지 모두에서 데이터를 전송높은 안정성, 확장성 높은 대역폭 LPDDR(Low Power Double Data Rate) DRAMDDR DRAM의 저전력 버전모바일 기기나 배터리 기반 시스템에서 전력 소모를 줄임GDDR(Graphics Double Data Rate) DRAMGPU에서 고성능 그래픽 및 계산 작업을 처리하기 위해 설계고속 데이터 전송 및 높은 대역폭 HBM여러개의 DRAM Die를 수직으로 쌓아 3D 적층 구조로 연결 메모리 프로세서 간 고대역폭 데이터 전송TSV를 통한 고대역폭 전송 DRAM의 소모 전력 계산P(total) = P(dynamic) + P(static)정전용량(C),..

병렬 처리 기법Loop UnrollingAI 모델 내의 합성곱 연산은 여러 개의 반복문(Loop)을 통해 연산루프 언롤링을 통해 여러 루프를 병렬 처리합성곱 연산의 경우 네단계의 합성곱 루프 언롤링이 가능(커널 루프, 채널 내 루프, 입력 채널 내 루프, 출력 채널 내 루프)Pipelining복잡한 작업을 여러 단계로 나누고 동시에 처리여러 합겅곱 연산을 파이프라이닝해 각 연산기의 비동작 시간을 대폭 줄임서로 다른 연산 유닛이 다른 이미지를 처리하여 전체 AI 하드웨어의 처리량 향상 AI 하드웨어 연산기 구조시스톨릭 어레이(Systolic Array)욘산 처리의 모듈이 2차원 배열의 형태의 구조각 연산 모듈은 전달받은 데이터들을 연산한 값을 누적 + 다음 인접한 연산 모듈로 데이터를 전송하며 이를 반복효..

지식 증류(Knowledge Distillation, KD)고성능 거대 모델(Teacher)의 지식을 작은 모델(Student)로 증류Teacher 모델의 어떠한 정보를 증류하는지에 따라 방법이 달라짐응답 기반 지식 증류(logit-based KD):Teacher 모델의 최종 output을 Student 모델이 학습특정 기반 지식 증류(representation-based KD) :Teacher 모델에서 특징을 추출하는 backbone network의 정보를 student 모델이 학습Teacher 모델의 활성화 맵 분포를 학습일반적으로 logit-based KD보다 높은 정확도행렬 분해(Tensor Decomposition)특정 행렬을 저차원의 행렬로 분해하는 법저계수 행렬 근사(Low-Rank Appr..

Neural network에서 Floating point 32-bit 데이터를 하드웨어 친화적인 데이터 포맷과 함께 적은 bit로 바꿔주는 경량화 방법 Floating point는 소수점을 유동적으로 이동할 수 있기 때문에 표현할 수 있는 수의 범위가 굉장히 넓다.Floating point는 Fixed point보다 표현할 수 있는 범위가 넓음양자화/역양자화 과정양자화 과정양자화를 위한 스케일 팩터 계산8-bit 양자화: 스케일팩터 S = 2^(b-1)/max  (b는 bit수)양자화 간격을 설정데이터를 양자화시키기 위해 반올림(올림,내림) 연산 수행-> Q = R(w*S)  (w는 데이터)최종 양자화된 데이터 선택 역양자화 과정양자화로 변환된 데이터를 행렬연산 이후 원래의 데이터로 복원하기 위한 과정D..

프루닝은 파라미터의 중요도를 판단하여 불필요한 파라미터를 제거하는 경량화 방법. 프루닝의 세밀성(Pruning Granularity) 프루닝은 제거하는 파라미터의 세밀성에 따라 분류되며 각각의 장단점을 가진다.Fine-grained 방식으로 갈수록 불필요한 파라미터를 정밀하게 제거할 수 있어 더 높은 압축률을 달성하기 쉬워지지만, 프루닝 패턴이 불규칙해지고 파라미터에 0값이 할당되어 네트워크 구조가 변하지 않는다.Coarse-grained 방식으로 갈수록 세밀성이 낮아져 큰 단위로 파라미터를 제거하게되며ㅡ 일부 중요한 파라미터까지 함께 제거될 수 있으므로 낮은 압축률을 가진다. 하지만 프루닝 패턴이 규칙적이기 때문에 가속으로 이어지기 용이하다.그림에서 보면 4가지의 프루닝 방식을 볼 수 있다.Weight..

패키징은 다이 본딩, 와이어 본딩 혹은 플립칩, 언더필 처리, 몰딩, 테스트 등으로 구성되며 기판에 탑재하며 전기적 연결 및 신호 전송, 발열 관리 등 역할을 수행한다. 전기적 연결(Wire Bonding/Flip Chip Bonding)칩과 외부 패키지 기판을 전기적으로 연결하는 작업이다.1) 와이어 본딩(wire bonding)금, 구리 알루미늄 등의 얇은 와이어를 사용해 다이 패드(die pad)와 리드 프레임(lead frame)을 연결하는 방식이다.비교적 단순하나 고속 신호 전송에는 한계가 있다.2) 플립 칩 본딩(Flip Chip Bonding)다이를 뒤집어 패키지 기판에 직접 접촉시키는 방식솔더 범프(solder bump)를 통해 연결하며 전송 속도가 빠르고 저항이 적어 고성능 및 고밀도 회..

식각 공정(Etching Process): 식각 공정은 기본적으로 반도체 표면에 불필요한 물질을 제거하여 패턴을 형성하는 과정을 말한다.   습식 식각(Wet Etching)습식 식각은 화학 용액을 사용해 기판의 특정 물질을 선택적으로 제거하는 방식이다. 건식 식각(Dry Etching)건식 식각은 플라즈마와 반응성 기체를 사용해 기판 물질을 제거하는 방식이다. 기체 분자들이 플라즈마 상태로 변하면서 고에너지를 갖게 되며, 이러한 활성화된 기체분자가 기판 표면에 충돌하면서 박막 물질을 제거한다. 건식 식각 공정을 위한 공정 변수 조정 Equipment Parameters:장비 설계, 파워, 주파수, 압력, 온도, 가스 흐름 속도 등 공정에 필요한 환경 조건을 제어.Process Parameters:플라즈..

박막 공정은 여러 층의 얇은 박막을 형성, 필요한 특성(절연, 도전, 활성 영역)을 구현한다. 박막 공정을 형성하는 주요 공정으로는 플라즈마 공정, 물리적 기상 증착(PVD), 스퍼터링(Sputtering), 화학적 기상 증착(CVD), 플라즈마 강화 화학적 기상 증착(PECVD), 원자층 증착(ALD) 등이 있다. 플라즈마 공정(Plasma Processing) 이혼화된 상태: 플라즈마는 높은 엔어지 때문에 전자들이 원자에서 분리되어 장롭게 움직이는 상태이다. 이온화된 전자와 양이온들이 존재하므로, 플라즈마는 전기를 잘 통하고 높은 반응성을 보인다.전기적 중성: 플라즈마 내부는 전자와 이온이 함께 존재하여 전체적으로 전기적 중성 상태를 유지하려는 성질이 강하다. 그러나 외부 전압을 인가하면 특정 방향으..

포토리소그래피는 웨이퍼 표면에 특정 패턴을 형성하기 위해 포토레지스트를 사용하여, 노광(Exposure) 후 현상(Development) 및 식각(Etching) 단계를 거치는 과정으로 이루어진다. 포토리소그래피 핵심 단계1) 포토레지스트 코팅(Photoresist Coating)포토레지스트는 스핀 코팅(Sping coating)공정을 통해 웨이퍼 표면에 균일한 두께로 도포된다. 이 과정에서 포토레지스트의 두께, 균일성, 정전기적 결함 등이 중요하다.스핀 코팅(Spin Coating): 고속 회전을 통해 액체 형태의 포토레지스트를 균일하게 웨이퍼에 도포한다. 스핀 속도, 시간, 포토레지스트의 점도는 두께를 결정하는 중요한 파라미터이다.리소그래피 공정에 적합한 두께: 해상도 및 패턴의 요구사항에 맞게 포토..