Recent
10 notes- claude code v2.1.199 release note 살펴보기 Claude Code v2.1.199 릴리스 노트 살펴보기 안녕하세요. 이번 글에서는 Claude Code v2.1.199 릴리스 노트의 변경 사항을 정리합니다. 도입 v2.1.199 는 2.1.x 계열의 패치 릴리스입니다. 릴리스 노트에는 24개 항목이 올라와 있고, 이 중 대부...
- 260701 회고 계속 개발과 취업 준비를 병행하면서 든 생각이다. 최근에 취업 시장에서는 AI를 잘 활용할 수 있는 능력을 중요시하게 여기기 시작했다. 이 능력을 검증할 수 있는 방법에 대해서 생각해봤는데, 가장 직관적인 방법은 Claude code나 Codex 등의 Agentic tool을 어떤...
- Claude Fable 5, Mythos 5 살펴보기 2026년 7월 1일, Fable 5·Mythos 5 재배포 6월 12일 미국 정부의 수출 통제(export controls)로 중단됐던 두 모델은 6월 30일 통제 해제 후 7월 1일 다시 배포됐다. Fable 5는 전 세계 사용자에게, Mythos 5는 승인된 일부 미국 조직...
- Claude Opus 4.8 살펴보기 오늘 새벽 두 시에 갑자기 Claude Opus 4.8이 출시됐다. 요새 클로드의 모델 업데이트 주기가 부쩍 빨라졌다. 작년만 해도 프론티어 모델의 업데이트는 최소 세 달을 간격으로 진행했었는데, 올해 들어서는 Opus 4.6에서 4.7로 약 두 달, 4.7에서 4.8로는 그보다...
- 사공이 많아지면 - 260529 회고 Claude code의 개인적인 harness를 개발하는 중이고, 현재 review gate를 만들고 있는데 방향성을 잘못 잡아 며칠 째 고생하는 중이다. OMC 같은 이미 존재하는 harness를 써도 되겠지만, 개인 프로젝트를 진행하는데에는 harness가 너무 무거워 보였다....
- Antigravity CLI 로그인이 반복되는 문제 해결하기 안녕하세요. 최근 Google I/O에서 공개된 Antigravity CLI를 WSL에서 써보다가, 종료 후 다시 들어가면 새로 로그인해야 하는 문제가 있어서 이에 대한 문제 해결 과정을 공유하고자 작성했습니다. 문제 상황 agy 에 한 번 로그인한 뒤 종료하고 다시 실행하면, 매...
- 나만의 하네스 구축하기 - CLAUDE.md 오늘은 CLAUDE.md를 제대로 다루는 법을 정리해보려고 한다. CLAUDE.md는 개인이 구축할 수 있는 가장 영향력 있는 하네스라고 생각한다. 그만큼 잘 다뤄야 하는 요소이므로, 잘 다루는 방법을 정리해봤다. CLAUDE.md가 중요한 이유 본격적으로 시작하기 전에 다음 내용...
- claude code에서 잘 사용하지 않는 skills 다루기 이번 글에서는 Claude Code의 Skills 설정을 다룬다. GitHub에는 Claude Code용 오픈소스 스킬 번들이 넘쳐난다. gstack , superpowers 같은 잘 알려진 컬렉션부터 개인이 묶어 올린 모음집까지, 한 번 설치하면 적게는 한두 개, 많게는 20개가...
- codex-plugin-cc 설치 및 리뷰 - Claude Code에서 Codex로 리뷰 받기 이번 글은 OpenAI가 공식적으로 내놓은, Claude Code에서 쓸 수 있는 Codex 리뷰 플러그인을 다룬다. 사실 나온 지는 좀 됐는데, 정리할 겸 설치 과정과 리뷰 사용법을 함께 적어 보았다. 이 플러그인이 갖는 의의 Claude Code로 작성한 코드를 Codex에게...
- Matt Pocock - skills for real engineers 리뷰 오늘은 Matt Pocock이 작성한 Skills For Real Engineers 를 리뷰해보려고 한다. 해당 Github 레포지토리는 바이브 코딩이 아닌 실제 엔지니어링을 위해, 작성자가 매일 사용하는 에이전트 스킬을 모아 둔 것이라고 한다. 즉, 바이브 코딩보다는 에이전틱 엔...
Antigravity cli
1 noteClaude
4 notes- Claude Fable 5, Mythos 5 살펴보기2026년 7월 1일, Fable 5·Mythos 5 재배포 6월 12일 미국 정부의 수출 통제(export controls)로 중단됐던 두 모델은 6월 30일 통제 해제 후 7월 1일 다시 배포됐다. Fable 5는 전 세계 사용자에게, Mythos 5는 승인된 일부 미국 조직...
- Claude Opus 4.8 살펴보기오늘 새벽 두 시에 갑자기 Claude Opus 4.8이 출시됐다. 요새 클로드의 모델 업데이트 주기가 부쩍 빨라졌다. 작년만 해도 프론티어 모델의 업데이트는 최소 세 달을 간격으로 진행했었는데, 올해 들어서는 Opus 4.6에서 4.7로 약 두 달, 4.7에서 4.8로는 그보다...
- 나만의 하네스 구축하기 - CLAUDE.md오늘은 CLAUDE.md를 제대로 다루는 법을 정리해보려고 한다. CLAUDE.md는 개인이 구축할 수 있는 가장 영향력 있는 하네스라고 생각한다. 그만큼 잘 다뤄야 하는 요소이므로, 잘 다루는 방법을 정리해봤다. CLAUDE.md가 중요한 이유 본격적으로 시작하기 전에 다음 내용...
- claude code에서 잘 사용하지 않는 skills 다루기이번 글에서는 Claude Code의 Skills 설정을 다룬다. GitHub에는 Claude Code용 오픈소스 스킬 번들이 넘쳐난다. gstack , superpowers 같은 잘 알려진 컬렉션부터 개인이 묶어 올린 모음집까지, 한 번 설치하면 적게는 한두 개, 많게는 20개가...
LLM
9 notes- NEFTune이번 대회 학습 데이터는 약 2,000개로 적은데 모델은 27B였다. 거대 모델이 소규모 데이터를 학습하면 과적합 위험이 크다. 이걸 막으려고 NEFTune을 도입했는데, 임베딩에 노이즈를 더하는 단순한 기법이 왜 과적합을 막는지 정리해봤다. 문제: SFT 단계의 소규모 과적합 L...
- 체크포인트 선정하기학습이 끝나면 보통 eval/loss가 가장 낮은 체크포인트를 골라 추론에 쓴다. 나도 그렇게 했는데, 정작 loss가 더 높은 마지막 epoch 체크포인트가 실제 점수는 더 높게 나와서 한참 갸웃했다. WandB 차트를 보면서 어떤 체크포인트를 써야 하는지 다시 생각했던 걸 정리...
- Unsloth 적용기27B 모델을 V100 32GB에서 굴리려니 속도와 메모리 양쪽이 빠듯했다. unsloth를 적용하면서 왜 쓰는지, 그리고 직접 batch size를 1·4·8로 바꿔보다 batch 1이 제일 빨랐던 이상한 결과를 추적했던 걸 정리해봤다. 왜 unsloth였나 unsloth는 같은...
- completion-only loss - 질문 말고 정답만 학습시키기SFT 데이터를 학습시킬 때 질문과 정답이 한 시퀀스로 들어가는데, 처음엔 모델이 이 전체를 다 학습하는 줄 알았다. 그런데 질문은 학습하지 않고 정답 부분에만 loss를 거는 방법이 따로 있었다. 입력으로 받는 것과 loss를 거는 것의 차이를 정리해봤다. 입력으로 받는 것 ≠...
- LLM 추론 최적화 이해하기LLM 추론은 토큰을 auto-regressive하게 하나씩 생성하는 과정이라 바닐라로 돌리면 매우 느리다. 이걸 빠르게 만드는 최적화 기법들을 메모리 이동, 반복 계산, 배치 처리 관점으로 나눠 정리해봤다. 생성 단계의 sampling/search 자체는 3. Sampling 기...
NLP
16 notes- 2. Beam Search와 그 한계필기에 내가 적어둔 메모 중에 2³개...? (X) 라는 게 있었다. beam search가 매 스텝 후보를 k개씩 펼치니까 스텝이 지날수록 k 2 , k 3 , … 으로 지수적으로 폭발하는 거 아닌가 싶었던 흔적이다. 결론부터 말하면 그렇지 않다. 그게 왜 그런지 따라가보면서 b...
- 3. Sampling 기반 디코딩 - Temperature, Top-k, Top-pbeam search까지 정리하고 나니, 확률을 최대화하는 방식만으로는 단조로운 문장밖에 못 만든다는 게 분명해졌다. 그래서 필기에 이런 질문을 적어뒀었다. Question 확률이 낮은 단어를 더 혹은 덜 뽑히게 할 수 있을까? 확률분포에 따라 단어를 random sampling하...
- 1. argmax 분해와 Greedy자연어 생성에서 decoding이 정확히 뭘 하는 과정인지, 그리고 왜 문장 전체를 한 번에 구하지 않고 토큰을 하나씩 뽑아 나가는지 정리해봤다. decoding이 풀려는 문제 입력 문장 x가 주어졌을 때, 출력 문장 y가 나올 확률을 최대화하는 y를 찾는 것이 decoding의...
- Input Embedding과 Positional EncodingTransformer 입력을 정리하다가, 수식으로는 분명 행렬곱인데 PyTorch는 행렬곱을 안 한다는 부분에서 한 번 멈췄었다. 그런데도 학습이 된다는 게 처음엔 어 이게 왜 되지 싶었다. 그 부분과 positional encoding의 scaling factor를 같이 정리해봤...
- 문자열 단위 Language ModelRNN으로 문자 하나씩을 예측하는 문자열 단위 Language Model을 hello 예제로 따라가며, 입력을 One-Hot으로 주는 이유와 학습/추론의 차이를 정리한다. hello 예제 Vocabulary를 [h, e, l, o] 로 두고, 학습 문자열 hello 를 학습한다고...
Pytorch
8 notes- clone과 detach, 그리고 계산 그래프Pytorch에서 Tensor를 다룰 때 경고문을 자주 보았을 것이다. UserWarning: To copy construct from a tensor, it is recommended to use sourceTensor.detach().clone() ... rather than...
- Linear Layer와 ReLU를 직접 구현해보기nn.Linear 와 nn.ReLU 라는 이미 완성된 클래스가 존재하지만, 직접 구현해보면 더 명확하게 이해할 수 있고 재미있는 사실들도 발견할 수 있다. torch.nn 없이 직접 구현해보았다. Linear Layer 구현하기 선형 계층은 입력에 가중치를 곱하고 편향을 더하는 y...
- 가중치 초기화와 Kaiming(He) 초기화간단한 Linear Layer를 pytorch로 직접 구현해보면서, 가중치를 어떻게 초기화하느냐에 따라 학습 결과가 달라지는 것을 확인해보았다. 해당 내용에 대한 짧은 글이다. 표준정규분포로 초기화 torch.randn 으로 가중치를 초기화하면 표준정규분포(평균 0, 표준편차 1)...
- model.eval()과 torch.no_grad()Pytorch의 모델 평가 단계에서 거의 항상 같이 등장하는 model.eval() 과 torch.no_grad() 를 정리해봤다. model.eval() model.eval() 은 모델을 평가, 즉 Evaluation에 최적화된 상태로 만드는 과정이다. Training 과정에는...
- Dataset과 DataLoader, 그리고 데이터 파이프라인PyTorch에서 데이터가 모델에 들어가기까지의 파이프라인을 Dataset , DataLoader , 그리고 이미지 변환인 ToTensor 을 중심으로 정리. Dataset 클래스 PyTorch에서는 데이터의 전처리와 배치 처리를 용이하게 할 수 있도록 Dataset 과 DataL...
well-known-harness
2 notes- codex-plugin-cc 설치 및 리뷰 - Claude Code에서 Codex로 리뷰 받기이번 글은 OpenAI가 공식적으로 내놓은, Claude Code에서 쓸 수 있는 Codex 리뷰 플러그인을 다룬다. 사실 나온 지는 좀 됐는데, 정리할 겸 설치 과정과 리뷰 사용법을 함께 적어 보았다. 이 플러그인이 갖는 의의 Claude Code로 작성한 코드를 Codex에게...
- Matt Pocock - skills for real engineers 리뷰오늘은 Matt Pocock이 작성한 Skills For Real Engineers 를 리뷰해보려고 한다. 해당 Github 레포지토리는 바이브 코딩이 아닌 실제 엔지니어링을 위해, 작성자가 매일 사용하는 에이전트 스킬을 모아 둔 것이라고 한다. 즉, 바이브 코딩보다는 에이전틱 엔...
딥러닝 기초
3 notes- Dropout 이해하기Dropout을 공부하면서 헷갈렸던 내용들을 정리해보았다. 일반화 성능을 높이는 핵심적인 요소인 마스킹과, 그리고 그 마스킹에 걸리지 않은 살아남은 값들을 키우는 스케일업. 이 구분을 중심으로 글을 작성했다. Dropout이란? Dropout 레이어에 들어온 텐서의 각 원소를 독립...
- ReLU의 존재 의미ReLU가 기울기 문제를 해결한다고 뭉뚱그려 말하기 쉽지만, ReLU가 다루는 것은 vanishing이지 exploding이 아니다. 이 구분을 정리해봤다. ReLU가 해결하는 건 vanishing이다 역전파에서 gradient는 각 층의 activation 미분을 계속 곱하면서...
- Backpropagation과 Chain Rule역전파가 어떻게 gradient를 계산하는지, local gradient와 chain rule을 중심으로 정리해봤고, 역전파 계산에 자주 나오는 연산 게이트들이 gradient를 어떻게 흘려보내는지까지 정리해봤다. local gradient와 chain rule 어떤 연산 노드 f...
머신러닝 기초
1 note
회고
2 notes- 260701 회고계속 개발과 취업 준비를 병행하면서 든 생각이다. 최근에 취업 시장에서는 AI를 잘 활용할 수 있는 능력을 중요시하게 여기기 시작했다. 이 능력을 검증할 수 있는 방법에 대해서 생각해봤는데, 가장 직관적인 방법은 Claude code나 Codex 등의 Agentic tool을 어떤...
- 사공이 많아지면 - 260529 회고Claude code의 개인적인 harness를 개발하는 중이고, 현재 review gate를 만들고 있는데 방향성을 잘못 잡아 며칠 째 고생하는 중이다. OMC 같은 이미 존재하는 harness를 써도 되겠지만, 개인 프로젝트를 진행하는데에는 harness가 너무 무거워 보였다....