[뾰틀 심플 리뷰 2023] An optimized DNN model for real-time inferencing on an embedded device

이 논문은 DNN(심층 신경망)모델의 실시간 추론을 위해 임베디드 장치에서 최적화하는 여러가지 방법들에 대한것이다. 

< 주요 내용 >

모델 경량화(Model Compression):

DNN 모델을 임베디드 장치에 적합하도록 경량화하는 기술이 필요하다. 이를 위해 가중피 프루닝(pruning), 양자화(quantization), 지식 증류(knowledge distillation)등을 사용해서 모델 크기를 줄일 수 있다.

이러한 기법들은 모델의 성능을 유지하면서 계산 자원과 메모리 사용을 최적화 한다.

 

하드웨어 가속(Hardware Acceleration):

임베디드 시스템에서의 DNN추론 속도를 높이기 위해, FPGA나 ASIC과 같은 하드웨어 가속기를 활용할 수 있다. 

이는 병렬처리를 활용하여 실시간 추론 성능을 극대화 하는데 유리하다.ㅏ

 

모델 레이어 통합(Layer Fusion)

여러 레이어를 수평 또는 수직으로 융합하여 연산량을 줄이는 방법도 있다. 

예를들어, CNN(합성곱 신경망)모델에서 여러개의 합성곱 연산을 하나의 연산으로 통합하여 모델의 효율성을 높일 수 있다.

 

최적화된 입력처리(Optimized input Processing):

입력데이터를 처리하는 방식도 중요한 역할을 한다.

단기 푸리에 변화(STFT)과 같은 방법을 사용하여 효율적인 입력 변환을 통해 연산 성능을 향상시킬 수 있다.

 

실시간 추론을 위한 최적화된 DNN구조:

자동차와 같은실시간 서비스에 적합한 DNN모델을 최적화하려면, 연산 효율성이 중요한 요소가 된다. 

예를들어, 수평 및 수직으로 레이어를 융합(fusion)하여 실행시간을 단축시키고, 모델의 정확도는 유지하는 방법이 효과적이다.

 이러한 최적화 방법들은 임베디드 시슽메에서 실시간 추론을 가능하게 하는 중요한 기술이다. 

각기 다른 하드웨어와 소프트웨어 요구사항에 따라 최적화 기법을 조합해서 사용하며 더 나은 성능을 얻을 수 있다.