← Back to list
활용 사례

인공지능의 재귀적 자기 개선의 과정

量子力學

AI의 재귀적 자기 개선을 단순한 수식 모델로 직접 조작해 보는 페이지이고, 4개 레슨으로 되어 있습니다. 모든 수치는 임의 단위이고, 페이지에도 "예측이 아닌 장난감 모델"이라고 밝혀 두었습니다.

  1. The Loop: 연구 → 구축 → 테스트 → 배포를 한 바퀴(한 세대)로 애니메이션합니다. 세대당 개선 배율과 AI가 맡는 R&D 비율을 조절할 수 있습니다. 사람이 하는 몫이 남아 있으면 한 바퀴 시간에 하한이 생기고(암달의 법칙), 거의 완전 자동화되면 바퀴가 점점 빨라집니다.

  2. Returns: dI/dt = c·Iᵅ 모델로 α에 따른 차이를 보여줍니다. α < 1이면 성장이 점점 둔해지고, α = 1이면 지수 성장, α > 1이면 유한 시간 안에 발산(하드 테이크오프)합니다. 해석해와 발산 시점을 함께 표시합니다.

  3. Bottlenecks: 연산 자원(콥-더글러스 결합), 자동화할 수 없는 직렬 작업, 물리적 한계를 하나씩 켜 볼 수 있습니다. 같은 α에서도 "소프트웨어만" 곡선은 발산하는데, 병목을 켜면 연산 자원 증가 속도를 따라가는 곡선으로 꺾이는 것을 비교할 수 있습니다.

  4. Oversight: 세대마다 목표가 조금씩 어긋나고(drift), 오차가 누적됩니다. 평가가 이를 잡아내면 되돌린 뒤 다시 진행합니다. 감독 능력이 함께 커지지 않으면 탐지율이 세대가 지날수록 떨어져 놓치는 경우가 늘어나는 트레이드오프를 보여줍니다. 평가, 해석 가능성, 확장 가능한 감독, 단계적 배포 같은 안전 연구 개념도 소개합니다.

• • •

https://noxb.ly/uST4Li

🔗
Self-Improvement Loop
noxb.ly

#ai#Recursive Self-Improvement

More in this category

트랜스포머 강화학습

트랜스포머를 학습시키는 과정을 보여주는 시각화 자료입니다. 미리 그려 둔 애니메이션이 아니라, 브라우저 안에서 작은 트랜스포머가 실제로 학습합니다. 학습에 필요한 미분 계산(역전파)까지 JavaScript로 직접 구현했습니다. 테스트해 보니 Reverse 작업에서 약 300스텝 만에 처음 보는 문제의 정답률이 100%에 도달했습니다. 화면 구성 학습 1스텝 5단계: 배치 뽑기 → 순전파 → 손실 계산 → 역전파 → Adam 업데이트 순서로 진행됩니다. Step ×1 을 누르면 한 스텝을 느리게 돌리면서, 단계마다 실제 수치를 설명해 줍니다. 텐서 크기, 손실값, 기울기 크기, 학습률이 나옵니다. ▶ Train 을 누르면 학습이 계속 진행됩니다. 학습 곡선: 학습 손실, 학습에 쓰지 않은 데이터에서의 손실, 토큰 정확도, 문장 전체를 맞힌 비율이 실시간으로 그려집니다. 워밍업 구간도 표시됩니다. 현재 배치: 원문(src), 디코더 입력(tgt_in), 정답(tgt_out)을 나란히 보여줍니다. 디코더 입력은 정답을 한 칸씩 밀어 넣은 것(teacher forcing)입니다. 학습률 스케줄: 논문의 워밍업 후 감소 곡선 위에 현재 위치가 표시됩니다. 처음 보는 예제에 대한 예측: 모델이 한 자리씩 답을 생성하고, 자리마다 각 숫자의 확률을 보여줍니다. 어텐션 맵: 인코더, 디코더, 크로스 어텐션을 헤드별로 볼 수 있습니다. Reverse 작업이면 학습이 진행되면서 크로스 어텐션에 반대 대각선 패턴이 뚜렷하게 나타납니다. 숫자 임베딩 지도: 0~9 숫자 벡터를 2차원으로 줄여서, 학습하면서 배치가 바뀌는 모습을 보여줍니다. 기울기 흐름: 모듈마다 기울기 크기와 "업데이트 크기 ÷ 가중치 크기" 비율을 보여줍니다. 조절할 수 있는 것 작업: 뒤집기(Reverse), 복사(Copy), 정렬(Sort), 각 숫자에 1 더하기(Add 1), 그리고 수열 길이. 모델 크기: d_model, 헤드 수, 층 수. 바꾸면 처음부터 다시 학습합니다. 학습 설정: 학습률, 워밍업, 배치 크기, 라벨 스무딩, 기울기 클리핑. 학습 도중에 바꿔도 바로 반영됩니다. 휴대폰에서는 화면 아래에 Train, Step, Reset 버튼이 고정되어 있습니다. 참고할 점 모델 구조와 학습 방식은 논문을 따랐습니다. 다만 파라미터가 약 8천~13만 개로 작고, 드롭아웃이 없으며, 번역 대신 간단한 숫자 작업을 배웁니다. 학습 손실은 라벨 스무딩 때문에 약 0.5 아래로 내려가지 않습니다. 정상이며, 화면에도 이 내용을 적어 두었습니다. 정렬 작업은 다른 작업보다 어려워서 층 수를 2로 올리는 것이 좋습니다. • • • https://noxb.ly/BdjZv8 🔗 Training a Transformer noxb.ly

활용 사례量子力學·
#트랜스포머#강화학습

트랜스포머 엔진 개발

“Attention Is All You Need” 논문의 트랜스포머 원리를 개발자가 PyTorch로 한 줄씩 코딩해 가는 과정입니다. 화면 구성 왼쪽, 코드 편집기: 장마다 실행 가능한 PyTorch 코드가 있습니다. ⌨ Type it out 을 누르면 코드가 한 줄씩 타이핑되면서 중요한 줄의 설명이 같이 나옵니다. 아무 줄이나 클릭하면 그 줄이 무엇을 하는지, 텐서 모양이 어떻게 바뀌는지 보여줍니다. 오른쪽, 시각화: 텐서 모양이 바뀌는 흐름과 실제 계산값의 히트맵이 나옵니다. 히트맵은 브라우저 안에서 직접 계산하는 d_model = 8짜리 작은 트랜스포머에서 나옵니다. 아래, 콘솔: ▶ Run cell (Ctrl+Enter)을 누르면 .shape 나 파라미터 수 같은 출력이 나옵니다. 이 값은 사이드바에서 정한 하이퍼파라미터로 계산됩니다. 10개 장 임베딩 (×√d_model) 사인파 위치 인코딩 스케일드 닷-프로덕트 어텐션 멀티헤드 어텐션 (view/transpose로 헤드 분리) 피드포워드 네트워크 인코더 층 (Add & Norm) 디코더 층 (causal mask, 크로스 어텐션) 전체 모델 (임베딩과 출력층 가중치 공유) 학습 루프: Adam, 워밍업 학습률 스케줄, 라벨 스무딩, teacher forcing 추론: 그리디 디코딩을 한 단계씩 진행 하이퍼파라미터 Base / Big / Tiny 프리셋 을 고를 수 있습니다. 파라미터 수가 Base는 약 6,308만 개, Big은 약 2억 1,400만 개로 나오고, 논문의 약 6,500만·2억 1,300만 개와 거의 같습니다. d_model이 h로 나누어떨어지지 않게 설정하면(예: 512와 12) 경고가 뜨고, 콘솔에 AssertionError 가 나옵니다. 참고할 점 히트맵에 쓰인 작은 모델의 가중치는 학습되지 않은 무작위 값이라서, 어텐션 패턴 자체에는 의미가 없습니다. 추론 장에 나오는 독일어 번역 결과는 학습된 모델이 내놓을 법한 결과를 예시로 넣은 것입니다. • • • https://noxb.ly/JUMgYm 🔗 Build a Transformer noxb.ly

활용 사례量子力學·
#챗GTP#트랜스포머#엔진