On-Device AI

Research Description

On-device AI brings intelligence closer to end-users by running models directly on resource-constrained devices such as smartphones, IoT sensors, and edge accelerators. This paradigm reduces dependency on cloud infrastructure, enhances privacy, and enables low-latency real-time responses. However, it requires overcoming challenges such as limited memory, compute capacity, and energy budgets. Our research investigates lightweight model design, hardware-aware optimizations, and co-design approaches spanning algorithm, system software, and accelerator architectures. The ultimate goal is to democratize AI by making advanced models accessible and efficient on edge platforms.

온디바이스 AI(On-Device AI)는 스마트폰, IoT 센서, 엣지 가속기와 같은 자원 제약이 있는 디바이스에서 모델을 직접 실행함으로써 사용자 가까이에 인공지능을 배치하는 패러다임입니다. 이를 통해 클라우드 인프라 의존도를 줄이고, 개인정보 보호를 강화하며, 저지연 실시간 응답을 가능하게 합니다. 하지만 제한된 메모리, 연산 능력, 에너지 예산과 같은 제약을 극복해야 하는 도전 과제가 존재합니다. 본 연구는 경량화 모델 설계, 하드웨어 친화적 최적화, 알고리즘-시스템 소프트웨어-가속기를 아우르는 공동 설계(co-design) 접근을 탐구합니다. 궁극적으로는 첨단 AI 모델을 엣지 플랫폼에서도 효율적으로 활용할 수 있게 하여 AI의 민주화를 실현하는 것을 목표로 합니다.

Your Job

• Understand constraints of edge devices in terms of compute, memory, and power.
• Design lightweight neural network architectures suitable for mobile and embedded environments.
• Explore algorithm–system–hardware co-design for maximizing efficiency on edge accelerators.
• Develop runtime optimization techniques such as adaptive inference, model partitioning, and dynamic precision.

• Evaluate privacy, latency, and energy efficiency benefits compared to cloud-based AI.

• 엣지 디바이스의 연산, 메모리, 전력 제약 조건 이해.
• 모바일 및 임베디드 환경에 적합한 경량 신경망 아키텍처 설계.
• 엣지 가속기 효율 극대화를 위한 알고리즘–시스템–하드웨어 공동 설계(co-design) 탐구.
• 적응형 추론(adaptive inference), 모델 분할, 동적 정밀도(dynamic precision)와 같은 런타임 최적화 기법 개발.
• 클라우드 기반 AI와 비교하여 프라이버시, 지연 시간, 에너지 효율성 측면의 장점 평가.