“Attention Is All You Need” 논문의 트랜스포머 원리를 개발자가 PyTorch로 한 줄씩 코딩해 가는 과정입니다.
화면 구성
왼쪽, 코드 편집기: 장마다 실행 가능한 PyTorch 코드가 있습니다.
⌨ Type it out을 누르면 코드가 한 줄씩 타이핑되면서 중요한 줄의 설명이 같이 나옵니다.
아무 줄이나 클릭하면 그 줄이 무엇을 하는지, 텐서 모양이 어떻게 바뀌는지 보여줍니다.
오른쪽, 시각화: 텐서 모양이 바뀌는 흐름과 실제 계산값의 히트맵이 나옵니다. 히트맵은 브라우저 안에서 직접 계산하는 d_model = 8짜리 작은 트랜스포머에서 나옵니다.
아래, 콘솔: ▶ Run cell(Ctrl+Enter)을 누르면
.shape나 파라미터 수 같은 출력이 나옵니다. 이 값은 사이드바에서 정한 하이퍼파라미터로 계산됩니다.
10개 장
임베딩 (×√d_model)
사인파 위치 인코딩
스케일드 닷-프로덕트 어텐션
멀티헤드 어텐션 (view/transpose로 헤드 분리)
피드포워드 네트워크
인코더 층 (Add & Norm)
디코더 층 (causal mask, 크로스 어텐션)
전체 모델 (임베딩과 출력층 가중치 공유)
학습 루프: Adam, 워밍업 학습률 스케줄, 라벨 스무딩, teacher forcing
추론: 그리디 디코딩을 한 단계씩 진행
하이퍼파라미터
Base / Big / Tiny 프리셋을 고를 수 있습니다. 파라미터 수가 Base는 약 6,308만 개, Big은 약 2억 1,400만 개로 나오고, 논문의 약 6,500만·2억 1,300만 개와 거의 같습니다.
d_model이 h로 나누어떨어지지 않게 설정하면(예: 512와 12) 경고가 뜨고, 콘솔에
AssertionError가 나옵니다.
참고할 점
히트맵에 쓰인 작은 모델의 가중치는 학습되지 않은 무작위 값이라서, 어텐션 패턴 자체에는 의미가 없습니다.
추론 장에 나오는 독일어 번역 결과는 학습된 모델이 내놓을 법한 결과를 예시로 넣은 것입니다.


