← Back to list
활용 사례

트랜스포머 아키텍쳐

量子力學

ChatGPT의 기반인 트랜스포머


Tokens & Embeddings

  • 입력한 문장을 토큰(긴 단어는 조각으로)으로 나누고 토큰 ID를 붙입니다.

  • 선택한 토큰의 임베딩 벡터 + 위치 인코딩 = 입력 벡터를 히트맵으로 보여주고, sin/cos 위치 인코딩 표도 함께 그립니다.

  • 2D 의미 지도에서 비슷한 단어들이 모여 있는 모습과 “king − man + woman ≈ queen”을 보여줍니다.

  1. Self-Attention

    • Q·K·V로 실제 내적 → ÷√d → softmax를 계산합니다. 화살표, 어텐션 행렬, 선택한 행의 단계별 계산표가 나옵니다.

    • 헤드 3개(대명사→명사, 바로 앞 토큰, 균등 평균)를 바꿔 볼 수 있습니다.

    • 고전 예문 “The animal didn’t cross the street because it was too tired / wide”에서 “it”이 tired면 animal(75%), wide면 street(75%)를 봅니다. GPT식 인과 마스크를 켜면 뒤에 오는 형용사를 볼 수 없어서 두 단어 사이에서 애매해지는 것도 확인할 수 있습니다.

  2. Transformer Block: LayerNorm → 멀티헤드 어텐션 → 잔차 더하기 → LayerNorm → 피드포워드 → 잔차 더하기 → ×N층 → 로짓 순서를 단계별 애니메이션으로 보여줍니다. 원조 Transformer, GPT-2, GPT-3의 규모 비교표도 있습니다.

  3. Next-Token Prediction: 로짓, 온도를 적용한 softmax, top-k로 다음 토큰을 하나씩 샘플링해 문장을 생성합니다. 확률 막대와 엔트로피가 표시되고, 후보를 직접 골라 이어 쓸 수도 있습니다.

  4. How It Learns: “the cat sat on the ___ → mat” 예제에서 교차 엔트로피 손실과 기울기(p − 1)를 보여주고, 경사 하강 단계마다 손실이 줄어드는 곡선을 그립니다.

설명을 위해 단순화한 부분이 있습니다.

벡터 크기는 수천 차원이 아니라 2–16차원입니다.
어텐션 헤드의 가중치는 역할이 잘 보이도록 직접 설계한 것입니다.
다음 토큰 예측은 신경망 대신 약 60문장으로 만든 작은 n-gram 모델을 씁니다.
• • •

https://noxb.ly/gNC8aQ

🔗
Transformer Explorer
noxb.ly

#챗GPT#트랜스포머#아키텍쳐

More in this category

트랜스포머 강화학습

트랜스포머를 학습시키는 과정을 보여주는 시각화 자료입니다. 미리 그려 둔 애니메이션이 아니라, 브라우저 안에서 작은 트랜스포머가 실제로 학습합니다. 학습에 필요한 미분 계산(역전파)까지 JavaScript로 직접 구현했습니다. 테스트해 보니 Reverse 작업에서 약 300스텝 만에 처음 보는 문제의 정답률이 100%에 도달했습니다. 화면 구성 학습 1스텝 5단계: 배치 뽑기 → 순전파 → 손실 계산 → 역전파 → Adam 업데이트 순서로 진행됩니다. Step ×1 을 누르면 한 스텝을 느리게 돌리면서, 단계마다 실제 수치를 설명해 줍니다. 텐서 크기, 손실값, 기울기 크기, 학습률이 나옵니다. ▶ Train 을 누르면 학습이 계속 진행됩니다. 학습 곡선: 학습 손실, 학습에 쓰지 않은 데이터에서의 손실, 토큰 정확도, 문장 전체를 맞힌 비율이 실시간으로 그려집니다. 워밍업 구간도 표시됩니다. 현재 배치: 원문(src), 디코더 입력(tgt_in), 정답(tgt_out)을 나란히 보여줍니다. 디코더 입력은 정답을 한 칸씩 밀어 넣은 것(teacher forcing)입니다. 학습률 스케줄: 논문의 워밍업 후 감소 곡선 위에 현재 위치가 표시됩니다. 처음 보는 예제에 대한 예측: 모델이 한 자리씩 답을 생성하고, 자리마다 각 숫자의 확률을 보여줍니다. 어텐션 맵: 인코더, 디코더, 크로스 어텐션을 헤드별로 볼 수 있습니다. Reverse 작업이면 학습이 진행되면서 크로스 어텐션에 반대 대각선 패턴이 뚜렷하게 나타납니다. 숫자 임베딩 지도: 0~9 숫자 벡터를 2차원으로 줄여서, 학습하면서 배치가 바뀌는 모습을 보여줍니다. 기울기 흐름: 모듈마다 기울기 크기와 "업데이트 크기 ÷ 가중치 크기" 비율을 보여줍니다. 조절할 수 있는 것 작업: 뒤집기(Reverse), 복사(Copy), 정렬(Sort), 각 숫자에 1 더하기(Add 1), 그리고 수열 길이. 모델 크기: d_model, 헤드 수, 층 수. 바꾸면 처음부터 다시 학습합니다. 학습 설정: 학습률, 워밍업, 배치 크기, 라벨 스무딩, 기울기 클리핑. 학습 도중에 바꿔도 바로 반영됩니다. 휴대폰에서는 화면 아래에 Train, Step, Reset 버튼이 고정되어 있습니다. 참고할 점 모델 구조와 학습 방식은 논문을 따랐습니다. 다만 파라미터가 약 8천~13만 개로 작고, 드롭아웃이 없으며, 번역 대신 간단한 숫자 작업을 배웁니다. 학습 손실은 라벨 스무딩 때문에 약 0.5 아래로 내려가지 않습니다. 정상이며, 화면에도 이 내용을 적어 두었습니다. 정렬 작업은 다른 작업보다 어려워서 층 수를 2로 올리는 것이 좋습니다. • • • https://noxb.ly/BdjZv8 🔗 Training a Transformer noxb.ly

활용 사례量子力學·
#트랜스포머#강화학습

트랜스포머 엔진 개발

“Attention Is All You Need” 논문의 트랜스포머 원리를 개발자가 PyTorch로 한 줄씩 코딩해 가는 과정입니다. 화면 구성 왼쪽, 코드 편집기: 장마다 실행 가능한 PyTorch 코드가 있습니다. ⌨ Type it out 을 누르면 코드가 한 줄씩 타이핑되면서 중요한 줄의 설명이 같이 나옵니다. 아무 줄이나 클릭하면 그 줄이 무엇을 하는지, 텐서 모양이 어떻게 바뀌는지 보여줍니다. 오른쪽, 시각화: 텐서 모양이 바뀌는 흐름과 실제 계산값의 히트맵이 나옵니다. 히트맵은 브라우저 안에서 직접 계산하는 d_model = 8짜리 작은 트랜스포머에서 나옵니다. 아래, 콘솔: ▶ Run cell (Ctrl+Enter)을 누르면 .shape 나 파라미터 수 같은 출력이 나옵니다. 이 값은 사이드바에서 정한 하이퍼파라미터로 계산됩니다. 10개 장 임베딩 (×√d_model) 사인파 위치 인코딩 스케일드 닷-프로덕트 어텐션 멀티헤드 어텐션 (view/transpose로 헤드 분리) 피드포워드 네트워크 인코더 층 (Add & Norm) 디코더 층 (causal mask, 크로스 어텐션) 전체 모델 (임베딩과 출력층 가중치 공유) 학습 루프: Adam, 워밍업 학습률 스케줄, 라벨 스무딩, teacher forcing 추론: 그리디 디코딩을 한 단계씩 진행 하이퍼파라미터 Base / Big / Tiny 프리셋 을 고를 수 있습니다. 파라미터 수가 Base는 약 6,308만 개, Big은 약 2억 1,400만 개로 나오고, 논문의 약 6,500만·2억 1,300만 개와 거의 같습니다. d_model이 h로 나누어떨어지지 않게 설정하면(예: 512와 12) 경고가 뜨고, 콘솔에 AssertionError 가 나옵니다. 참고할 점 히트맵에 쓰인 작은 모델의 가중치는 학습되지 않은 무작위 값이라서, 어텐션 패턴 자체에는 의미가 없습니다. 추론 장에 나오는 독일어 번역 결과는 학습된 모델이 내놓을 법한 결과를 예시로 넣은 것입니다. • • • https://noxb.ly/JUMgYm 🔗 Build a Transformer noxb.ly

활용 사례量子力學·
#챗GTP#트랜스포머#엔진