NAS and NAAS

Hardware-aware neural architecture search (HW-Aware NAS) and neural architecture accelerator search (NAAS) (하드웨어를 고려한 신경망 구조 탐색 (NAS) 및 신경망 구조 가속기 탐색 (NAAS))

Research Description

Neural architecture search (NAS) provides a way to automatically find a highly accurate NN model without human intervention. However, the conventional NAS approaches come with a major flaw; they focus on increasing only prediction accuracy without considering computational cost of NN inference. This will make NAS impractical in many cases such as execution on mobile devices where computational capacity is limited. Correspondingly, hardware-aware NAS approaches are gaining attention recently as they generate network architectures that can be executed in hardware efficiently maintaining the prediction accuracy.

신경망 구조 탐색 (NAS)은 사람의 개입 없이 자동으로 높은 정확도의 신경망 모델을 찾는 방법을 제공합니다. 그러나 기존 NAS 접근 방식은 예측 정확도만 높이는 데 집중하는 주요 단점이 있습니다. 이는 신경망 추론의 계산 비용을 고려하지 않기 때문에, 계산 용량이 제한된 모바일 장치와 같은 많은 경우에 NAS가 실용적이지 않을 수 있습니다. 이에 따라 최근에는 예측 정확도를 유지하면서 하드웨어에서 효율적으로 실행할 수 있는 신경망 구조를 생성하는 하드웨어를 고려한 NAS 접근 방식이 주목받고 있습니다.

Neural architecture accelerator search (NAAS) finds both a neural network model and a hardware accelerator at the same time such that they are synergically working together.

신경망 구조 가속기 탐색 (NAAS)은 신경망 모델과 하드웨어 가속기를 동시에 찾아 이들이 상호 보완적으로 작동할 수 있도록 합니다.

Your Job

  • Understanding basic computer architecture.
  • Understanding various neural network architectures.
  • Evaluating how neural architecture affects hardware efficiency.
  • Designing a novel HW-aware NAS or NAAS.

  • 기본적인 컴퓨터 아키텍처에 대한 이해.
  • 다양한 신경망 구조에 대한 이해.
  • 신경망 구조가 하드웨어 효율성에 미치는 영향 평가.
  • 새로운 하드웨어를 고려한 NAS 또는 NAAS 설계.

Related Papers:

  1. Accepted
    AutoCaps-Zero: Searching for Hardware-Efficient Squash Function in Capsule Networks
    Jieui Kang , Sooyoung Kwon , Hyojin Kim , and Jaehyeong Sim
    In 2024 International Conference on Communications, Computing, Cybersecurity, and Informatics (CCCI)
  2. AlphaAccelerator: An Automatic Neural FPGA Accelerator Design Framework Based on GNNs
    Jiho Lee , Jieui Kang , Eunjin Lee , Yejin Lee , and Jaehyeong Sim
    In 2024 21st International SoC Design Conference (ISOCC)
  3. TD-NAAS: Template-Based Differentiable Neural Architecture Accelerator Search
    HaYoung Lim , Yeseo Jang , Juyeon Kim , and Jaehyeong Sim
    In 2023 20th International SoC Design Conference (ISOCC)