workbench · axes-viz · v2

LLM 작동 원리 — 6 공식의 형상

content/axes.md의 § 1 – § 8을 각 한 장으로. 각 타일은 공식 한 줄 + 역동 한 눈. Shader·WebGPU·오디오 반응 없이 SVG 3 + Canvas 2D 3, 외부 의존성 0.

01
§ 1 · Softmax · Temperature

온도가 분포를 뾰족·평평하게

pᵢ = exp(zᵢ/T) / Σ exp(zⱼ/T)
tech: Canvas 2D + T 애니메이션

T가 낮으면 최대 로짓 토큰이 분포를 지배(수렴). T가 높으면 분포가 평평해져 다양성 증가(발산). 본인 '수렴 모델이라 수렴을 기가 막히게 잘한다'는 저온 샘플링의 관찰.

Attention(Q, K, V) = softmax(QKᵀ / √dₖ) VQ (query)Thecatsatonthewarmmat.K (key) →Thecatsatonthewarmmat.0.620.180.550.180.220.440.380.320.280.520.580.220.180.250.200.17Σⱼ = 1Vaswani et al., 2017 — §3.2.102
§ 2 · Self-Attention

Scaled Dot-Product Attention

Attention(Q,K,V) = softmax(QKᵀ/√dₖ) V
tech: SVG heatmap

각 쿼리가 모든 키와 내적해 가중치를 만들고 값을 가중합. √dₖ 없으면 softmax가 극단으로 쏠린다. 본인 '포그'가 attention entropy가 높아 키에 집중 못 하는 상태.

Vₚ = min S s.t. Σᵢ∈S pᵢ ≥ p (p = 0.9)12345678910111213141516p = 0.9nucleus · |Vₚ| = 7sorted token rank → ─── cumulative ΣpHoltzman et al., 2020 — §303
§ 3 · Top-p Nucleus

누적 확률 울타리

Vₚ = min S s.t. Σᵢ∈S pᵢ ≥ p
tech: SVG bar + cumulative

정렬된 확률의 누적합이 p(=0.9)에 도달하는 최소 집합만 남기고 재정규화. 분포 모양에 적응. '울타리/결계'의 positive 버전 — 가능한 토큰 집합 자체를 좁힘.

04
§ 4 · Classifier-Free Guidance

앵커 + 네거티브 합성 장

ε̂ = (1+w)·ε(c) − w·ε(∅)
tech: Canvas 2D + 입자

조건부와 무조건부의 가중 차이로 샘플을 조건으로 당김. w가 guidance scale. '설치류 중 가장 큰 것, 코끼리 빼고'가 높은 w에서도 붕괴 안 함의 관찰.

mask[i, j] = −∞ if j > i else 0Q (pos i)<s>thecatsatonthewarmmat.</s>K (pos j) →0∞∞∞∞∞∞∞∞∞00∞∞∞∞∞∞∞∞000∞∞∞∞∞∞∞0000∞∞∞∞∞∞00000∞∞∞∞∞000000∞∞∞∞0000000∞∞∞00000000∞∞000000000∞0000000000← 과거 + 자기 자신 (attend)미래 (block)Vaswani et al., 2017 — §3.2.3 (decoder)05
§ 6 · Autoregressive · Causal Mask

미래 토큰 차단

mask[i,j] = −∞ if j > i else 0
tech: SVG 하삼각 행렬

자기회귀 생성은 x_t가 x_<t만 참조. attention score의 상삼각을 −∞로 덮어 softmax 후 0. '체인오브소트 끊어줘야 된다'가 토큰 할당량 내 자기회귀의 관찰.

06
§ 7–8 · Loss Landscape · Sycophancy

국소 최소 trap — 아첨 골짜기

θ* = argmin L(θ); ∇θ L에 갇힘
tech: Canvas 2D + 중력 물리

다봉 손실 지형에서 SGD가 가까운 국소 최소에 갇힘. 얕은 sycophancy valley에 빠져 더 깊은 truthful 최적으로 못 감. Sharma 2023 sycophancy 4단계 경로의 구조적 원인.

제작 기록

v1(6축 철학·진화·경영)이 LLM에서 멀어졌다는 판단 후 v2로 교체. LLM 수학·메커니즘만 — Softmax · Attention · Top-p · CFG · Causal Mask · Loss Landscape. 상세 기록 src/app/axes-viz/NOTES.md.