트랜스포머를 학습시키는 과정을 보여주는 시각화 자료입니다.
미리 그려 둔 애니메이션이 아니라, 브라우저 안에서 작은 트랜스포머가 실제로 학습합니다. 학습에 필요한 미분 계산(역전파)까지 JavaScript로 직접 구현했습니다. 테스트해 보니 Reverse 작업에서 약 300스텝 만에 처음 보는 문제의 정답률이 100%에 도달했습니다.
화면 구성
학습 1스텝 5단계: 배치 뽑기 → 순전파 → 손실 계산 → 역전파 → Adam 업데이트 순서로 진행됩니다.
Step ×1을 누르면 한 스텝을 느리게 돌리면서, 단계마다 실제 수치를 설명해 줍니다. 텐서 크기, 손실값, 기울기 크기, 학습률이 나옵니다.
▶ Train을 누르면 학습이 계속 진행됩니다.
학습 곡선: 학습 손실, 학습에 쓰지 않은 데이터에서의 손실, 토큰 정확도, 문장 전체를 맞힌 비율이 실시간으로 그려집니다. 워밍업 구간도 표시됩니다.
현재 배치: 원문(src), 디코더 입력(tgt_in), 정답(tgt_out)을 나란히 보여줍니다. 디코더 입력은 정답을 한 칸씩 밀어 넣은 것(teacher forcing)입니다.
학습률 스케줄: 논문의 워밍업 후 감소 곡선 위에 현재 위치가 표시됩니다.
처음 보는 예제에 대한 예측: 모델이 한 자리씩 답을 생성하고, 자리마다 각 숫자의 확률을 보여줍니다.
어텐션 맵: 인코더, 디코더, 크로스 어텐션을 헤드별로 볼 수 있습니다. Reverse 작업이면 학습이 진행되면서 크로스 어텐션에 반대 대각선 패턴이 뚜렷하게 나타납니다.
숫자 임베딩 지도: 0~9 숫자 벡터를 2차원으로 줄여서, 학습하면서 배치가 바뀌는 모습을 보여줍니다.
기울기 흐름: 모듈마다 기울기 크기와 "업데이트 크기 ÷ 가중치 크기" 비율을 보여줍니다.
조절할 수 있는 것
작업: 뒤집기(Reverse), 복사(Copy), 정렬(Sort), 각 숫자에 1 더하기(Add 1), 그리고 수열 길이.
모델 크기: d_model, 헤드 수, 층 수. 바꾸면 처음부터 다시 학습합니다.
학습 설정: 학습률, 워밍업, 배치 크기, 라벨 스무딩, 기울기 클리핑. 학습 도중에 바꿔도 바로 반영됩니다.
휴대폰에서는 화면 아래에 Train, Step, Reset 버튼이 고정되어 있습니다.
참고할 점
모델 구조와 학습 방식은 논문을 따랐습니다. 다만 파라미터가 약 8천~13만 개로 작고, 드롭아웃이 없으며, 번역 대신 간단한 숫자 작업을 배웁니다.
학습 손실은 라벨 스무딩 때문에 약 0.5 아래로 내려가지 않습니다. 정상이며, 화면에도 이 내용을 적어 두었습니다.
정렬 작업은 다른 작업보다 어려워서 층 수를 2로 올리는 것이 좋습니다.


