Speed Always Wins: A Survey on Efficient Architectures for LLMs

논문 개요
이 논문은 대형 언어 모델(LLM)의 효율적인 아키텍처 설계에 초점을 맞추어, 처리 속도와 비용, 자원 효율 및 실제 응용 환경에서의 실질적 성능에 대해 체계적으로 분석한다. 기존 트랜스포머 기반 모델의 한계를 넘어서는 다양한 혁신적 설계 및 최근 연구 트렌드를 폭넓게 소개하고 있다.

주요 내용 및 구조

• 효율적 LLM 설계 철학: 속도 및 비용 중심 접근의 필요성
• 각종 최적화·경량화 기법(비동기 연산, 병렬 처리, weight 공유 등)
• Sparse Transformer, Linearized Attention 등 새로운 구조의 등장 배경과 장점
• 실제 배포·서빙 현장에서 요구되는 처리량(throughput)·latency 관점의 성능 지표
• 메모리 사용 절감과 하드웨어별 최적화 방식
• GPU/TPU 등 전용 하드웨어 활용, 실전 벤치마크 결과 다수

대표 아키텍처 및 기법

• Sparse/Low-Rank Attention: 불필요 계산 최소화, 메모리-속도 동시 개선
• Dynamic Routing: 입력별 처리 경로 자동 변경, 유휴 자원 활용
• Model Pruning/Quantization: 파라미터, 연산량 줄이기
• Batching·Pipeline Parallelism: 대규모 배포 시 처리량 극대화
• Custom Kernel·H/W 융합: GPU/TPU/ASIC 등 다양한 하드웨어 지원에 따른 최적화 전략

실험 및 벤치마크

• 최신 논문 및 대표 모델의 처리 속도 비교
• 다양한 환경(GPU 수, 입력 길이, 배치 크기)에서의 구조별 성능 차이
• 실제 현장 테스트 결과(동시 사용자 수, latency 등) 포함

미래 전망과 한계

• 새로운 하드웨어·연산 구조에 대한 대응 필요성 제시
• 실전 배포와 연구 간 격차 해소 방향성
• 차세대 LLM 아키텍처 트렌드: 경량화·고효율·멀티모달 지능으로 확장 전망