#flash-attention

• LLM 추론 최적화 이해하기LLM 추론은 토큰을 auto-regressive하게 하나씩 생성하는 과정이라 바닐라로 돌리면 매우 느리다. 이걸 빠르게 만드는 최적화 기법들을 메모리 이동, 반복 계산, 배치 처리 관점으로 나눠 정리해봤다. 생성 단계의 sampling/search 자체는 3. Sampling 기...#llm #inference #kv-cache #flash-attention #vllm|2025-12-16