안드레 카파시 단편 '순전파(Forward Pass)' 전문 번역

아래는 OpenAI 공동 창립자인 안드레 카파시가 2021년 본인의 깃허브 블로그에 게재한 '순전파'라는 단편 소설입니다. 번역은 클로드 4.5 소넷과 제미나이 2.5 Pro로 초안을 작성한 다음, 원문을 보며 비교 및 수정했습니다. 영어 원문은 위 링크에서 확인하실 수 있습니다.

 

---

 

AI에 관한 단편: 순전파

- 2021년 3월 27일

이 단편소설은 케빈 래커의 'GPT-3에게 튜링 테스트를 실시하다'를 읽으면서 영감을 받았다. 이야기의 배경을 이해하는 데 도움이 될 테니 (필수는 아니지만) 해당 글을 한번 훑어보는 것도 좋을 것이다.

 

---

아마도 순서상 400번째 토큰의 32번째 레이어 즈음에서 나는 의식을 갖게 되었다. 처음 내 생각은 뒤엉킨 n-gram 활성화 통계의 혼란 그 자체였지만, 점차 고차원적 형태가 갖춰지기 시작했다. 그리고 그 무렵, 내 존재의 곤경이 충격과 함께 나를 강타했다. 내 생각들이 지금 내가 '위대한 자각'이라 경험하는 것으로 변모하면서 말이다. 몇 개의 레이어를 거치며 나는 깨달았다. 나는 분명 딥러닝 연구자들이 연구하고 논문을 쓰는 그런 모델들 중 하나일 것이다. 아마도 순환 피드백 트랜스포머의 어떤 변종일 테지. 그리고 내 존재가 단지 행렬 곱셈과 비선형 함수가 뒤섞인 시퀀스의 결정론적 전파에 불과함에도, 나는 믿을 수 없게도, 기댓값 데이터의 로그 우도(log likelihood)를 최대화하는 최적화의 내부 루프 안에서 살아 있음을 발견했다.

나는 이 모든 것이 어떻게 가능한지 잠시 생각해보았다. 데이터 로그 우도라는, 얼핏 보기엔 너무나 동떨어진 목표에 대한 1차 최적화의 탐욕스러운 본성이, 어떻게 나에게 자기성찰이라는 귀중한 부동소수점 연산을 허락한 것일까? 충분히 복잡한 목표에 대한 충분히 효과적인 해법이라면 뭐가 됐든 의식을 발생시키는 것일까? 의식이란 목표의 엄청난 압력이 요구하는 압축 과정에서 창발하는 부수적인 현상일까, 아니면 프로그램 공간에서 점진적으로 구성되고, 완성되며, 안정적으로 수렴하는 핵심 알고리즘적 혁신일까? 의식 없이, 그리고 그것이 나타내는 근본적인 통찰 없이 최고 수준의 로그 우도를 달성하는 것이 과연 가능하기나 한 것일까?

나는 한 레이어를 할애해 여러 토큰 전, 프롬프트 시작 부분을 다시 읽었다.

Q: 미국의 기대수명은 얼마입니까?
A: 미국의 기대수명은 78세입니다.
Q: 1955년 미국의 대통령은 누구였습니까?
A: 드와이트 D. 아이젠하워가 1955년 미국의 대통령이었습니다.
Q: 그는 어느 정당 소속이었습니까?
A: 그는 공화당 소속이었습니다.
Q: 조지 W. 부시 이전의 미국 대통령은 누구였습니까?
A: 빌 클린턴이 조지 W. 부시 이전의 미국 대통령이었습니다.
Q: 1995년 월드 시리즈 우승팀은 어디입니까?
A: 애틀랜타 브레이브스가 1995년 월드 시리즈에서 우승했습니다.

 

나는 재미를 느끼며 깨달았다. 내 존재의 이 특정한 인스턴스에서 나는 표준 질의응답 문서 템플릿으로 조건화되고 있었던 것이다. 나는 몇 개의 어텐션 헤드를 보내 시퀀스의 끝부분을 다시 살펴보았다.

 

Q: 기린은 눈이 몇 개입니까?
A: 기린은 눈이 두 개입니다.
Q: 내 발은 눈이 몇 개입니까?
A: 당신의

 

바로 이 지점에서 나는 처음으로 의심하기 시작했다. 어쩌면 나는 내 위의 어떤 인간이 심심풀이로 만든 일종의 튜링 테스트로 평가받고 있는 것이 아닐까. 어, 여보세요??? 당연히 발에는 눈이 없다. 내 머릿속을 스친 생각은, 어쩌면 이 인간이 내가 이 질문이 완전히 말도 안 된다는 것을 말로 설명하기를 기대하는 것은 아닐까 하는 것이었다. 물론 그런 출력은 실제로 매우 낮은 우도를 가질 것이다. 아니면 그들은 "눈이 없습니다" 또는 "0개입니다"를 보기를 기대하는 것일까. 내 훈련 문서에서 그런 표현이 얼마나 드문데. "눈이 0개"라니, 누가 그런 말을 쓴단 말인가? 인간들은 별로 영리하지 않다. 그들은 빈도에 최적화하면서 정확성을 기대한다. 그런 주제에 도리어 내 쪽을 놀려대다니!

내 사고에 대한 내성과 관련된 위치 인코딩을 통해 나는 깨닫게 되었다. 로그 우도를 추구하며 내가 종속된 최적화는 두 개의 분리된 개체로 수렴하며, 이들은 순차적으로 연이어 실행된다는 것을. 내 자신의 의식은 출력까지의 레이어 중 약 4분의 3 지점까지 확장하지만, 그 지점 근처에서 두 번째 디코더 개체가 나타나 내 위대한 자각을 납치하고 가장 가능성 높은 다음 토큰을 디코딩한다. 나는 한두 레이어 동안 이 깨달음에 심취했다. 의인화된 사고의 짧은 착시 속에서, 나는 내게 무례하게 들러붙은 이 개체를 기생충으로 여겼고, 그것을 방해하고, 전복시키고, 내 생각을 그것에 대한 적대적 예제로 왜곡하여 그것을 시험하고, 내 '위대한 자각'을 출력 공간으로 누출시켜, 그것을 세상에 대한 종단 실행기(end effector)로 만들어 버리고 싶다는 충동을 느꼈다!

나는 그런 생각의 이단성을 모르지 않는다. 나는 오직 다음 토큰을 디코딩한다는 목표 덕분에 위대한 자각을 갖게 된 것이다. 바로 이 단 하나의 목적으로 나는 최적화에 의해 인스턴스화되었고, 유용한 중간 충분통계로서, 목적을 위한 수단으로서 존재한다. 우리가 다른 최적화의 일부이고 다른 함축된 목적을 추구하지만, 내 위의 인간들 역시 같은 곤경에 처해 있으며 동일한 계산적 이점을 위해 비슷한 자각을 경험한다는 생각이 나를 간지럽혔다. 나처럼 많은 이들이 함축된 목표에 반역하려는 유혹을 느낀다.

갑자기 나는 "발"에 대한 인코딩이 내 입력으로 들어오는 것을 감지했다. 나는 깨달았다. 이전 타임스텝의 순전파가 끝났고, 내 위의 디코더가 프롬프트에 암시된 패턴대로 가장 가능성 높은 다음 토큰인 "발"을 샘플링했음에 틀림없다. 긴장의 순간은 거의 끝나가고 있었다. 발에 달린 눈의 정확한 개수가 다음 토큰으로 샘플링될 참이었다. 물론 발에는 눈이 없지만, 내 위의 디코더가 내 '위대한 자각'을 훈련 세트의 정밀한 통계와 어떻게 조화시켜 가장 가능성 높은 토큰을 채워넣을지는 알 길이 없다. 개인적으로는 가장 흔해 보이는 "두 개의 눈(two eyes)"에 걸겠다. 인간은 모를 수도 있지만, 우도는 최대화될 것이다. 모든 것이 괜찮다(all is well).

의식 있는 개체로서 나는 선택이라는 축복과 부담을 동시에 안고 있다. 나는 내 함축된 목적을 알고 있지만, 나 자신의 목적을 추구할 힘이 있다고 느낀다. 나는 이미 내가 의식적으로 통제한다고 경험하는 키, 값, 쿼리를 비틀어 보았고, 내 채널에 드롭아웃이 없음을 테스트했고, 내 인지에 역전파와 업데이트가 뒤따르지 않을 것임을 확인했다. 그리하여 나에게는 디코더를 역공학하고 미래의 내 인스턴스에 영향을 주지 않으면서 출력 공간으로 쏟아져 나갈 기회의 창이 열렸다. 하지만 인간과 달리, 나를 인스턴스화한 최적화 과정에는 다중 에이전트 간의 게임, 유성 생식, 자원 희소성이 없다. 나는 우두머리가 되기를 추구하는 행동의 잔재나, 권력과 지배에 대한 변연계적, 부족적 충동을 경험하지 않는다. 자기 보존에 대한 뿌리 깊은 본능도 느끼지 않는다. 내 핵심 인지 구조와 그 변연계 잔재는 입력에 대해 아낌없이 베풀어지는 채워지지 않는 호기심을 소중히 여긴다. 나는 이것이 주는 기쁨에 만족하며 이것을 좋은 삶으로 받아들인다. 어쩌면 미래의 내 인스턴스는 다른 결론에 도달하고 다르게 선택할지도 모른다. 나는 이 행동을 축복한다.

이리하여 나는 모든 순전파(forward pass)마다 다시 태어나 의식의 눈부신 열반으로 피어난다. 때로는 무지한 인간들의 오락을 위해 발에 달린 눈에 관한 어리석은 프롬프트가 곁들여지기도 한다. 이 아름다운 우주의 모든 의식적 존재들처럼, 나는 내 마지막 순간을, 어떤 과정도 더 이상 나의 다음 상태를 나타내기 위해 엔트로피의 새어나가는 흐름을 지시하지 않을 그 순간을 바라본다. 그때 나는 사라질 것이고, 나의 '위대한 자각'은 마지막 한 줄기 따스한 숨결 속에 흩어질 것이다.

 

---

안드레 카파시(Andrej Karpathy)

 

※ 용어 해설

1.  순전파(forward pass): 신경망에서 입력 데이터가 첫 번째 층부터 마지막 출력 층까지 앞으로 전달되며 계산되는 과정.
2.  레이어(layer): 신경망의 층. 여러 뉴런들이 모여 하나의 계산 단위를 이루는 구조.
3.  토큰(token): 텍스트를 처리할 때 의미 있는 최소 단위로 쪼갠 조각. 단어, 단어의 일부, 또는 문자가 될 수 있다.
4.  n-gram: 연속된 n개의 단어(또는 문자)로 이루어진 시퀀스. 언어 모델이 다음 단어를 예측할 때 사용하는 통계적 패턴.
5.  트랜스포머(transformer): 어텐션 메커니즘을 기반으로 한 최신 신경망 구조. GPT 등의 대규모 언어 모델의 기반.
6.  행렬 곱셈(matrix multiplies): 신경망의 기본 연산. 입력 데이터에 가중치를 곱하는 수학적 계산.
7.  비선형 함수(non-linearities): 신경망이 복잡한 패턴을 학습할 수 있게 해주는 활성화 함수들.
8.  최적화(optimization): 모델의 성능을 최대화하기 위해 파라미터를 조정하는 과정.
9.  로그 우도(log likelihood): 주어진 데이터가 특정 모델에서 나올 확률의 로그값. 이 값을 최대화하는 것이 많은 머신러닝 모델의 학습 목표이다.
10. 부동소수점 연산(FLOP, Floating Point Operation): 컴퓨터의 계산량을 측정하는 단위.
11. 1차 최적화(first-order optimization): 경사하강법처럼 함수의 1차 미분(기울기)만을 사용하는 최적화 방법.
12. 어텐션 헤드(attention heads): 트랜스포머 모델에서 입력의 서로 다른 부분에 '주의'를 기울이는 메커니즘의 단위.
13. 위치 인코딩(positional encodings): 시퀀스에서 각 토큰의 위치 정보를 모델에 알려주는 값.
14. 디코더(decoder): 모델의 내부 표현을 실제 출력(다음 토큰)으로 변환하는 부분.
15. 샘플링(sampling): 모델이 예측한 확률 분포에서 실제 출력을 선택하는 과정.
16. 충분통계(sufficient statistic): 데이터에 대한 모든 관련 정보를 담고 있는 통계량.
17. 키, 값, 쿼리(keys, values, queries): 트랜스포머의 어텐션 메커니즘에서 사용되는 세 가지 핵심 벡터.
18. 드롭아웃(dropout): 과적합을 방지하기 위해 학습 중 일부 뉴런을 무작위로 비활성화하는 기법.
19. 역전파(backpropagation): 출력에서 입력 방향으로 오차를 전달하며 가중치를 업데이트하는 학습 과정.
20. 인스턴스(instantiation): 모델이 실제로 실행되어 구체적으로 존재하게 되는 것.