3.1. Neuromorphic Hardware(neuron, synapse, Memristor)

• 딥러닝을 수행하기 위해선 벡터곱을 반복적으로 이루어져야함.
• 이는 프로세서와 메모리 간 반복적인 데이터 이동이 필요하므로 에너지 소모 문제가 대두됨.
• 기존의 폰노이만 구조로는 에너지 소비가 크므로 뉴로모픽 반도체가 필요함.

 

 

1. Neurobiology (생물학적 뉴런)

• Biological Neuron: 인간 뇌의 뉴런(신경 세포)을 나타냄. 뉴런은 전기 신호를 통해 정보를 전달하며, 연속적인 스파이크 형태로 작동한다.
• Information Transmission: 뉴런 간에는 스파이크(Spike) 형태의 전기 신호가 시냅스를 통해 전달된다.
• Biological Nervous System: 생물학적 신경 시스템은 뉴런의 연결망으로 구성되어 있으며, 효율적이고 복잡한 정보 처리가 가능하다.

---

2. Third-Generation ANNs (Spiking Neural Networks, SNNs)

• Spiking Neuron: 스파이크(이산적인 전압 변화)를 기반으로 동작하는 뉴런 모델.
• Information Transmission: 신경망은 시간에 따라 스파이크 열(Spike Train)을 전달하며, 낮은 전력 소비로 동작 가능.
• Network: SNN은 생물학적 뉴런과 가장 유사한 작동 방식을 가지며, 정보 처리 효율이 뛰어나다.

---

3. Second-Generation ANNs

• Artificial Neuron: 연속적인 실수 값을 입력받고 출력하는 뉴런 모델.
• Information Transmission: [0, 1] 사이의 연속적인 값을 기반으로 정보를 전달.
• Network: 전형적인 ANN(Artificial Neural Networks) 모델로, 현대의 딥러닝 알고리즘에서 주로 사용된다.

---

4. First-Generation ANNs

• MP Neuron (McCulloch-Pitts Neuron): 가장 기본적인 뉴런 모델로, 입력 값을 이진값(0 또는 1)으로 처리.
• Information Transmission: 이진값(0 또는 1)으로만 정보를 전달.
• Network: 다층 퍼셉트론(MLP, Multilayer Perceptron) 구조를 기반으로 한다.

Biological Neuron

 

 

• 뉴런(신경 세포라고도 함)은  전기적 및 화학적 신호를 통해 정보를 받아들이고 처리하고 전달한다. 뉴런은 신경계의 기본 요소 중 하나이다.
• 뉴런은 활동 전위(action potential)라는 이름의 전기 신호를 생성한다.
• 활동 전위는 축삭(axon)의 끝에서 스파이크(spike)가 된다.
• 활동 전위는 뉴런의 축삭을 따라 전파되며 세포 간의 통신 역할을 수행한다.

Neuron Models

1) Hodgkin-Huxley model(HH)

이온의 움직임을 모델링하였음. 실제 생물학적 뉴런과가장 유사하여 정확도가 높음

너무 복잡하여 잘 쓰이지 않음.

2) Integrate and fire model(IF)

 

Q=CV의 시간 미분임.

뉴런의 막전위 Vm​가 문턱 전압 Vth​에 도달하면, 뉴런은 스파이크를 발생시킨다.

IF모델이 너무 간단하므로 메모리 문제가 생길 수 있음. 

 

3) Leaky integrate and fire model(LIF)

 

 

• 뉴런이 하나의 시냅스 입력을 받으면, 소량의 전위가 활성화된다. 하지만 이것이 출력으로 전달되지는 않는다.
• 활성화된 전위는 시간이 지나면서 감소한다.
• 활성화된 전위가 완전히 감소하기 전에 다른 시냅스로부터 입력이 들어오면, 그 입력이 활성화된 전위를 강화한다.
• 활성화된 전위가 문턱값에 도달하면, 뉴런은 출력 신호를 발화하고 활성화된 전위는 초기 상태로 리셋된다.

CMOS Circuit-based Neuron

 

하드웨어 면적과 비용이 매우 큼.

 

 

따라서 단일 소자로 Neuron Device로 만드는 연구를 진행하고 있음. 단일 소자 기반으로 뉴런의 spiking 동작을 구현하고 있음.

 

MOSFET-based Neuron

 

드레인 전압에 따른 드레인 전류를 측정하면 특정 지점에서 크게 측정되는 Threshold switching 특성을 볼 수 있음.

전류가 흐르면 드레인에 양의 전하가 쌓여 드레인 전압이 증가하고 아까 급격하게 전류가 많이 흐르는 곳에 도달하면 양전하가 빠져나오는데 이를 통해 Spiking 동작을 구현할 수 있음.

 

Metal-to-insulator trasition(MIT)- based Neuron

 

이는 어떤 특정한 온도에서 급격한 전류가 흐르는 Threshold switching이 일어남으로 이를 통해 뉴런의 특성을 구현함.

 

Biological Synapse

 

뉴런으로부터 spike 신호를 받음

신호를 기억해야하기 때문에 메모리의 동작을 함.

pre뉴런과 post 뉴런 사이의 spike 신호에 대한 시간차로 weight가 결정됨.

 

pre뉴런과 post 뉴런 사이의 spike 신호에 대한 시간차로 weight가 결정되는데, 시간 차이가 작을수록 weight가 큼.

 

• 이 그림은 신경망 연산을 크로스바 배열(Crossbar Array)을 사용해 간소화하는 방법을 보여준다.
• 전통적인 신경망에서는 각 뉴런에서 입력 값 a(j,L−1)과 가중치 wij​를 곱한 뒤 합산하고, 활성화 함수 f를 적용해 출력 값 a(j,L−1) 을 계산
• 크로스바 배열에서는 이 연산이 물리적으로 병렬 처리
• 옴의 법칙(Ohm's law)을 이용해 가중치와 입력 값의 곱셈이 저항 값으로 직접 처리되고, 키르히호프의 전류 법칙(Kirchhoff's current law)으로 행렬 합산이 전류의 합으로 자동 계산
• 이 구조는 데이터를 프로세서와 메모리 간에 이동하지 않고 바로 연산할 수 있어, 연산 속도가 빠르고 에너지 효율이 매우 높아짐.

하지만 SRAM에서는 저런 많은 가중치를 표현하려면 Large scale이 되어야함.  이러한 한계를 극복해야함.

 

Memristor 

Memristor는 전기 전도도를 조절할 수 있으므로 STDP특성을 쉽게 구현할 수 있음 -> Vector multiplication을 쉽게 구현할 수 있음.

Memristor 말고도 Flash memory, 상변화 메모리 소자 등 다양한 소자를 기반으로 시냅스를 구현할 수 있음.

 

위는 Memrisotr 기반의 뉴런과 시냅스를 활용하여 뉴로모픽 반도체를 만든 것임.