지식 증류(Knowledge Distillation, KD)고성능 거대 모델(Teacher)의 지식을 작은 모델(Student)로 증류Teacher 모델의 어떠한 정보를 증류하는지에 따라 방법이 달라짐응답 기반 지식 증류(logit-based KD):Teacher 모델의 최종 output을 Student 모델이 학습특정 기반 지식 증류(representation-based KD) :Teacher 모델에서 특징을 추출하는 backbone network의 정보를 student 모델이 학습Teacher 모델의 활성화 맵 분포를 학습일반적으로 logit-based KD보다 높은 정확도행렬 분해(Tensor Decomposition)특정 행렬을 저차원의 행렬로 분해하는 법저계수 행렬 근사(Low-Rank Appr..