#qlora

• Unsloth 적용기27B 모델을 V100 32GB에서 굴리려니 속도와 메모리 양쪽이 빠듯했다. unsloth를 적용하면서 왜 쓰는지, 그리고 직접 batch size를 1·4·8로 바꿔보다 batch 1이 제일 빨랐던 이상한 결과를 추적했던 걸 정리해봤다. 왜 unsloth였나 unsloth는 같은...#llm #finetuning #unsloth #qlora|2025-12-26