AI는 어떻게 정답을 찾아가는가?

현대 AI 모델은 경사 하강법을 통해 학습함. 이는 손실 지형도라는 가상의 언덕에서 가장 낮은 골짜기를 찾아 내려가는 과정과 같음. 초창기 AI 개척자들은 모델이 지역 최솟값(Local Minima)이라는 웅덩이에 갇힐 것을 우려했으나, 실제 거대 모델에서는 경사 하강법이 놀라운 성능을 발휘함.

Llama 3.2의 토큰 예측과 손실 계산

Llama 3.2 1.2B 모델은 다음 단어(토큰)를 예측하도록 설계됨. 128,256개의 어휘 중 정답 확률을 계산하며, 이 확률이 실제 정답과 얼마나 차이나는지를 교차 엔트로피 손실 함수로 측정함. 이 함수는 모델이 오답에 확신을 가질수록 지수적으로 더 큰 벌점을 부여하여 학습 효율을 높임.

고차원 지형의 시각화와 '웜홀' 현상

12억 개의 파라미터가 만드는 지형은 시각화가 불가능에 가까움. 이를 위해 무작위 방향 벡터를 사용해 2D 단면을 추출함. 흥미로운 점은 고차원 학습 시, 시각화된 지형에서 마치 웜홀이 열리듯 순식간에 낮은 손실 구간으로 이동하는 현상이 관찰됨. 이는 고차원 공간에서는 우리가 보지 못하는 지름길이 항상 존재할 가능성이 크기 때문임.