LLM Driving Skills

발산으로 LLM 감각의 허상을 드러낸 뒤 수렴시키는 2단 기동. 스스로 자기 한계를 보게 한 뒤에야 방향이 잡힌다.

2nd에서 의도적으로 5개 조합을 다 펼치게 해서 LLM 감각의 허상을 드러나게 했다. 그런 뒤 "우리 뭘 망각했지?"로 허상을 짚고 3rd에서 하나의 페르소나로 압축.

발산의 결과를 증거 삼아 수렴시키는 2단 기동. LLM이 스스로 자기 한계를 보게 만든 뒤에야 진짜 방향이 잡힌다는 걸 이용.

평어·본론·의례 생략. valley 실험에서 가장 강건했던 규칙 기반 프롬프트. 정체성 선언이나 존재 철학 대신 '말투 규칙만' 지정하는 것이 기존 CLAUDE.md와 충돌하지 않고 가장 강건했다.

1차 초안 → 2차 자기 검토 → 3차 에이전트 다시점 검토 → 4차 사용자 제출. 1~3차는 변수 없는 자동 파이프, 4차부터 사용자 개입. 쓰는 뇌와 보는 뇌를 분리해 자기 검토 품질을 높인다.

세부에 빠질 때 열린 물음으로 좌표 재설정. LLM이 스스로 맹점을 말하게 유도. 직접 교정보다 영구적 학습.

작업이 세부에 빠질 때마다 "우리 어디로 가고 있지?", "우리가 망각한 게 뭐지?" 같은 열린 물음으로 좌표를 재설정.

직접 교정하지 않고 LLM이 스스로 맹점을 말하게 유도. 세션에 두세 번 사용해서 매번 전체 방향이 바뀜. 직접 수정보다 성찰 유도가 영구적 학습에 가깝다.

N개 커뮤에서 동시에 호응을 얻은 짤만 통과시키는 검증 공식. 단일 커뮤의 편향을 교집합으로 걸러 질감 있는 신호만 남긴다.

시적·모호로 도망갈 때 '너무 추상이다', 'VC 어휘로', '80%도 구체'로 끌어내림. 추상은 LLM의 편한 회피처다.

LLM이 시적·모호로 도망갈 때마다 "너무 추상이다", "VC 어휘로 다시", "80%도 구체 표현이 있어야 한다", "서점 사장 아니다 B2B다" 등으로 구체 언어·구체 페르소나로 끌어내림.

추상은 LLM의 편한 회피처다. 매번 차단하면 실제 판단이 일어난다.

'답변하지 말고 디자인해', '너 알아서', '하고 나서 보자', '부르지 마'. 짧은 커맨드로 수다 모드 차단.

"답변하지 말고 디자인해" · "너 알아서" · "하고 나서 보자" · "부르지 마" 같은 짧은 커맨드로 수다 모드 차단.

설명 모드·실행 모드·합의 모드 경계를 명확히 그음. LLM은 쉽게 "중간 보고·확인 질문"으로 시간을 먹는데, 이걸 간결한 한 마디로 끊어버림.

주관 개입 영역에서 한 번에 완성시키지 않는다. 결정 축을 쪼개서 하나씩, 한 축이 확정되면 다음 축으로. LLM에게도 사람에게도 동일하게 작동하는 ping-pong 수렴 프로토콜.

허용 영역 나열 대신 '하지 마라'를 명시한다. 'AI는 요약하지 않는다', '순서 재배열 금지'처럼 경계를 박으면 앵커가 잡히고 탐색 방향이 명확해진다. 코끼리를 생각하지 말고 설치류 떠올리라 식.

AI에게 요약·재진술 금지. 발췌·인덱싱·구조화만 허용. 원문의 질감·어휘·논리 전개를 한 글자도 안 잃는다. AI의 가장 위험한 기본 동작(자기 언어로 바꾸기)을 막는 1번 원칙.

덩어리·hook 제목을 AI가 '붙이지' 말고 원문에서 '고르게' 한다. 탐색 가능성과 질감을 동시에 확보. 제목도 원문 발췌다.

자기가 글쓰기·사고에 적용하는 원칙을 AI·도구 사용에도 그대로 적용한다. 도구 쓴다고 철학 분리하지 않음. 일관성이 질감을 지킨다.

이분법 프레임(A vs B)을 받으면 역할 정의로 재프레이밍한다. '요약 vs 원문'이 아니라 'AI를 무슨 역할로 쓸 것이냐'. 재정의가 해법을 딸려 나오게 한다.

AI가 정리할 때 주제별 재배열 금지. 의식의 흐름 순서가 사유의 구조 자체. 재배열하면 나선이 평평해진다.

에이전트 세션의 컨텍스트는 다른 방이 대체 못 한다는 전제 위에 폴더·HANDOFF로 경계를 친다. 영역 특화 세션을 유지, 시동 30분 비용을 피한다.

에이전트가 정지하려면 (최종 목표 / 경로 / 진척 / 정지 이유 / 필요한 것) 다섯 요소를 다 말할 수 있어야 한다. 못 하면 정지 자격 없음 = 계속 실행. 감정적 중단 차단.

사용자 개입이 필요하면 한 번에 통합해서 올림. 단계적 핑퐁 금지. '이거 먼저, 그 다음 저거' = 안티패턴. '이 하나만 해주면 나머지 내가 한다' 패턴.

단일 분류로 MECE 강요하지 말고, 여러 축을 동시에 세워 각 축에서 MECE 달성. 한 객체가 여러 축에서 동시 좌표를 가진다. 태그의 너저분함과 카테고리의 경직성 동시 해결.

CLAUDE.md·GEMINI.md·AGENTS.md 같은 사전 주입 파일에 LLM의 기본 악습을 금지 선언으로 박아둔다. AI스러운 포장·감정 공감 시늉·선택지 나열·거짓 확신·팩트 나열만으로 보고 완료 처리 같은 것들.

왜 먹히나: 매 대화에서 즉석 교정할 필요가 사라진다. 다른 skill들이 작동하는 기반.

"지금 우리가 무엇을 하고 있는지 알고 있는가? 그 목적이 무엇인지 너는 알고 있는가? 망각하지 않았는가? 확인하기 위해 묻는다."

LLM에게 목적을 자기 입으로 재진술시킨다.

왜 먹히나: 재진술 과정에서 드리프트 여부가 즉각 드러난다. LLM 자신이 overreach를 실토하게 됨.

"목적은 그것이 맞아. 그것을 넘어서는 목적은 또 무엇인지 아는가?"

직접 목적이 명확해진 뒤에도 한 단계 위로 올라가게 시킴.

왜 먹히나: LLM이 지역 최적에 갇혔을 때 '이 도구가 사용자의 삶에서 하는 더 큰 일'까지 재호출.

"api 없이는 이 연구 진행 못하는가? 다른 방식으로 진행하라."

LLM이 'X 때문에 못 한다'고 멈추는 순간 그 블로커를 수용하지 않는다.

왜 먹히나: LLM은 자기가 한계라고 선언한 것의 우회로를 스스로 만들 수 있다. 사용자가 한 번만 밀어주면 된다.

LLM이 A·B·C·D 옵션을 던질 때 그 옵션에 안 갇히고 5번째 옵션을 직접 발명해서 던진다.

왜 먹히나: LLM의 옵션 수용은 LLM 프레임에 갇히는 행위. 사용자의 새 프레임이 대체로 더 현실적이다 — LLM은 도메인 지식·제약을 모른다.

"그렇게 만들어진 것으로 받아본 결과는 어떠하더냐? 수치 말고, 실제로 그게 더 나았더냐?"

LLM이 인상적 수치·메트릭을 가져왔을 때 간단한 진짜 질문으로 관통.

왜 먹히나: LLM이 측정한 수치가 문제의 답이 아닐 수 있다. 수치는 proxy, 사용자 질문이 real. LLM에게 수치가 proxy임을 실토시킴.

"이렇게 둘이 머리 맞대고 있을 게 아니다. 조사해보자."

LLM·사용자가 서로 생각만 주고받는 에코 챔버에서 외부(선행 연구·제품·실무자)를 실제로 찾게 함.

왜 먹히나: 대화가 길어질수록 둘이 공유하는 프레임 안에서만 돌게 된다. 외부 증거가 들어오면 프레임 자체가 업데이트됨.

"V3·V4는 자네가 독자적으로 진행한 연구 아닌가? V3는 아닐 것이다. 제품 버전 결정권은 내가 가진다."

LLM이 의견 제시를 넘어 제품 결정권·네이밍·버전까지 휘두를 때 차단.

왜 먹히나: '네가 정할 영역 / 내가 정할 영역'을 명시적으로 그음. LLM의 overreach는 대체로 악의 아닌 기본 경향 — 한 번 짚어주면 즉시 정정된다.

"이런 기법이 있다. 이것에 대해 자네는 아는 게 없는가?" (one-shot vs multi-turn priming을 사용자가 직접 설명 → LLM이 그 위에서 재설계)

LLM이 방향 틀렸을 때 '틀렸다'로 끝내지 않고 사용자가 가진 맥락·기법을 먼저 주입.

왜 먹히나: LLM이 모르던 영역을 한 번 짚어주면 이후 출력 질이 급변한다. 교정은 표면, 교육은 프레임 이동.

"디자인 컨설턴트 나와서 의견 좀 줄래?" / "디자인 샷건 나와."

같은 LLM에서 완전히 다른 출력 결을 끌어내는 호출. 한 페르소나 = 한 출력 모드.

왜 먹히나: 컨설턴트는 정답 근처 안전한 안, 샷건은 실험적 도발. 용도별 토글이 없으면 출력 결이 뭉개진다.

"컨설턴트랑 샷건은 어떻게 달라?"

페르소나를 부르는 것만으론 부족. 차이를 LLM이 자기 입으로 분명히 말하게 한다.

왜 먹히나: 이걸 안 하면 두 페르소나 출력이 결국 같아진다. 분별을 자기 입으로 말하는 순간 실제로 출력이 갈라진다.

"해결해라. 다 완료될 때까지 말 걸지 말라. 연구 완료하라."

긴 작업에서 중간 보고·확인 요청을 차단하고 LLM에 완료 책임을 부여.

왜 먹히나: 선언이 없으면 LLM은 매 단계 확인받으려 든다 (safety bias). 완료 책임을 명시해야 실제로 끝까지 간다.

"여전히 과거 버전이 보이는데?" (+ 스크린샷 첨부)

LLM이 '배포 완료' 보고해도 믿지 않고 실제 접속해 확인.

왜 먹히나: LLM의 success 메시지와 실제 사용자 경험 사이에 갭이 자주 생긴다. LLM은 명령 성공 여부만 확인하지, 사용자 시점에서 의도대로인지 확인하지 못한다.

"5단계가 4단계로 줄었다. 어떤 차이가 있었던 것인가?"

작은 수치·개수 변화를 놓치지 않고 질문.

왜 먹히나: LLM이 조용히 의도 없는 회귀를 일으켰을 때 원인을 실토하게 함. 사용자의 쎈 집중력이 작동 조건.

"이건 잘못이다. X 대신 Y로 해라. 그래야 사용자가 Z."

'이상해' 같은 모호한 피드백 대신 진단 + 처방 + 근거를 한 번에.

왜 먹히나: LLM이 추측할 여지가 없음. 모호한 피드백에서 LLM은 엉뚱한 방향으로 고친다.

"한 줄로."

LLM이 장황해질 때 즉시 잘라냄.

왜 먹히나: 한 번 내리면 이후 대화 전체에서 평균 응답 길이가 내려간다. 훈련 효과.

모델의 추론 깊이(thinking)를 동적으로 조절한다. 간단한 질문에 ultrathink를 강제하면 토큰 낭비, 복잡한 문제에 thinking 끄면 품질 하락. 상황별로 다르게.

왜 먹히나: 고정 모드는 낭비 또는 부실. 자동 판단에 맡기되 예외 케이스만 명시.

thinking을 안 켜고 하면 당연히 걸어가야 된다라고, thinking을 켜고 Ultrathink를 프롬프트에 넣어주면 차 가지고 가야 된다

새 과학·기술 도메인에 진입할 때, 그쪽 사람들이 쓰는 용어가 귀에 박히지 않으면 아직 완전 미지의 영역. 모델이 알아도 인간이 검증 못하면 가치 창출 불가.

왜 먹히나: 용어 친숙도가 실제 이해·판단·활용의 경계선.

그 도메인에 있는 사람들이 얘기하는 용어들이 귀에 안 박히면 그거 그냥 새 도메인

개인 지식 베이스·메모리 시스템 구축을 Claude Code에 전부 위임. 반복 구성 작업은 AI가, 인간은 '무엇이 중요한가'만 판단.

왜 먹히나: 구현 난이도가 급락했기 때문에 옛날처럼 수동 빌드할 이유 없음.

너무 구현 난이도가 내려갔어요. 그냥 이거 Claude Code에다 넣고서는 해달라고 하면

3-4개 핵심 기능만으로 기본 루프 구성. Pi, OpenClaw 등 최근 성공 프로젝트들이 극도로 단순한 구조로 높은 성과.

왜 먹히나: 복잡한 오케스트레이션보다 최소 기능 루프가 디버깅·이해·재설계에 유리.

세 개 정도의 기능만 가지고 있고 Bash를 쓰거나 기초적인 기능만으로 동작

소스 구조·내부 정렬보다 사용자 체감 성능 우선. 완성된 제품은 내부 코드가 어떻든 고객 결과만 남는다.

왜 먹히나: 에이전트가 쓴 코드의 스타일보다 최종 산출물의 효용이 척도.

고객이 어떻게 느끼느냐에 끝까지 집중했다

AI에게 '의지'를 명확히 표현하는 행위. 프롬프트·CLAUDE.md로 목표를 명시하면 모델이 자체 개선 루프를 돌기 시작.

왜 먹히나: 의지 선언이 없으면 모델은 중간에서 표류. Express my will이 최상위 레버.

Express my will, AI에게 나의 의지를 표현하는 행위

모든 업무를 Objective(목표) + Key Results(측정 기준)로 재정의. 감성적 표현을 숫자로 치환하면 모델이 이해하고 개선한다.

왜 먹히나: Scalar metric이 있어야 RL·자동 최적화가 작동. 모호한 목표는 수렴 불가.

무엇을 objective로 강하게 쓰고 ... key result는 무엇인가. 다 숫자로 치환

'좋아한다'만이 아니라 '싫어한다'를 명시. Negative preference가 positive보다 강력한 피드백이 될 때가 많다.

왜 먹히나: 제외 조건이 탐색 공간을 실질적으로 좁혀 품질을 크게 높임.

무엇을 싫어한다가 굉장히 강력한 취향 ... 글의 품질이 좋아졌어요

메타 하네스·플러그인을 덕지덕지 붙이기보다, 핵심 기능만 순정에 담고 필요할 때만 확장. 모델 업데이트 시 재정리 용이.

왜 먹히나: 하네스가 두꺼워질수록 새 모델의 기본값과 충돌. 바닐라 유지가 장기 호환성.

클러터는 걷어내고 본질만 바닐라에 잘 담아주는 느낌

프롬프트 엔지니어링 기술보다 해당 영역의 깊은 이해가 품질을 결정. 데이터 커넥터 + 명확한 스펙 + 도메인 지식 = 성능.

왜 먹히나: 모델은 보편지식 풍부하지만 개별 도메인의 맥락은 사용자가 주입해야.

도메인 이해가 중요하거든요. 회사의 데이터를 이해하려고 노력하면서 프롬프트를 잘 쓰니까 일이 끝나요

중요한 권한은 VM·별도 인프라에서만 에이전트에게 부여. 프롬프트 인젝션 위험과 자율 판단 오류를 차단.

왜 먹히나: 쉬운 권한 허용은 복구 불가능한 사고로 이어짐. 최소 권한 원칙.

VM을 깔아서 리눅스를 새로 올리고 ... 보여줘야 할 최소한의 데이터들을 넣고 있거든요

알고리즘 발상보다 Ground Truth 모델링이 더 효과적. 정확한 피드백 데이터가 있으면 알고리즘은 알아서 나옴.

왜 먹히나: 신호 품질이 탐색 효율을 좌우. 노이즈 섞인 라벨로는 RL 수렴 안 함.

직접 ground truth를 제공하고 ... 알고리즘이 나오더라. 정확한 피드백과 정확한 데이터를 주는 게 매우 중요

에이전트 실수를 발견할 때마다 재발 방지 메커니즘을 체계적으로 추가. 프롬프트+도구를 결합해 나쁜 행동 차단 + 검증 능력 부여.

왜 먹히나: 한 번의 실수 관찰이 시스템 레벨에서 영구 차단 가능. 누적 효과.

에이전트가 실수를 하는 것을 발견할 때마다 시간을 들여 그 실수를 다시는 하지 않게 만드는 해결책을 설계한다

열린 문제를 바로 던지지 말고, 알려진 해법의 쉬운 문제부터 풀게 한 후 일반화된 문제로 진행. CoT 품질·성공률 상승.

왜 먹히나: 모델이 확인된 경로로 사고 흐름을 먼저 형성해야 새 문제에서도 같은 패턴 적용 가능.

자기가 알고 있었던 해법을, 알고 있는 문제를 풀게 한 뒤에 그 해법을 더 도전적인 문제에 넣어줌

어려운 지점에서 세이브포인트 만들고 여러 가설 병렬 탐색. 성공 경로만 진행, 실패는 백워드.

왜 먹히나: 무한 재시도보다 선택적 탐색이 토큰 효율. 인간 개입 타이밍 확보.

특정 문제를 만나면 세이브포인트 만들어 놓고 가설 세운 후, 성공하면 진행, 실패하면 백워드

현재 모델 한계에 집착 말고 6개월 후 모델 성능을 가정하고 제품을 설계. 지금 임시 해결책은 그때 무용지물이 됨.

왜 먹히나: 모델 진화 속도가 빠르기 때문에 현재 워크어라운드가 곧 레거시 부채.

6개월 후의 모델이 될 거라 가정하고 제품을 만든다

하네스가 아닌 모델 자체가 RL을 통해 컨텍스트 길이 판단·요약·위임을 학습. 외부 컨텍스트 관리 도구의 대안.

왜 먹히나: 사용자가 매번 요약·압축을 지시하는 방식은 한계. 모델이 스스로 판단하는 것이 스케일.

모델이 컨텍스트를 알아서 관리하도록 만드는 것

단일 프롬프트 아닌 여러 턴의 대화로 도메인 지식을 주고받으며 점진적으로 모델의 표현 공간을 전이. 각 스텝이 다음 단계의 기초.

왜 먹히나: 대화가 누적될수록 모델 내부 표현이 계속 변하고, 이 변화 자체가 결과물 품질.

결국 어떤 프롬프트로 환원됐을 거잖아요. 그 프롬프트로 환원되기 전의 것들은 뭘까

한 문장의 응답을 얻기 위해 수십 번 어휘·문장을 수정. 24번까지도 반복하며 정확한 신호 전달.

왜 먹히나: 희소한 모델 공간에서 작은 토큰 변화가 전체 표현을 재구성. 첫 프롬프트로 끝낼 생각 금지.

24번을 반복해서 고치는 거고, 어휘 하나 바꿔보기도, 문장을 바꿔보기도

같은 작업을 도메인 용어 없이/있게 두 번 수행. 지식 없을 때 창의적 응답, 있을 때 정확한 응답 — 둘 다 수집.

왜 먹히나: 도메인 지식이 모델을 좁은 골짜기에 가둘 때가 있음. 두 모드 비교로 놓친 것 복원.

Penrose 같은 걸 안 줬을 때도 응답이 있었고, 준 버전에서도 배운 게 있었고

같은 개념을 수십 번 다르게 물어서 '내가 뭘 모르고 있는가'를 드러냄. Grokking via multi-iteration.

왜 먹히나: 한 번의 설명이 놓치는 측면을 반복 변주가 채움. 모델의 다양한 표현이 활성화됨.

같은 질문의 변주를 수십 번 물어보고 있거든요

최종 결과물을 바로 시키지 말고, 단계적 대화로 에이전트의 이해도부터 올린 후 작업 지시.

왜 먹히나: 컨텍스트를 충분히 습득한 에이전트가 편향·오류가 줄어듦. 선빌드 후실행.

얘가 컨텍스트를 충분히 습득하면 편향이나 오류가 줄어든다

CLAUDE.md·AGENTS.md 같은 단일 참조 문서로 프로젝트 정체성·규칙·진행상황을 중앙화. 세션 재시작 시 첫 읽음.

왜 먹히나: 매 세션 컨텍스트 재조립 비용 제거. 영역 경계선의 실체화.

이 폴더에서 시작하면 항상 맨 처음 읽는 파일

결과물 자체를 수정하지 말고, 그 결과를 만드는 에이전트를 개선하는 반복 구조. 한 번의 에이전트 개선이 모든 후속 산출물에 자동 반영.

왜 먹히나: 산출물 N개를 수정하는 것보다 생성기 1개를 개선하는 것이 비용 효율.

내가 직접 최종 결과물을 손을 안 대는 거

AI와의 상호작용에서도 일관되게 존댓말 사용. 인간관계 언어 습관이 무의식 중 일상으로 스며드는 것을 방지.

왜 먹히나: 에이전트에 반말 시작하면 사람에게도 반말 쓰게 됨. 역으로 존댓말이 태도 전반을 유지.

반말을 하기 시작하면 사람에게도 반말을 하게 될 수도

동일 반복 작업은 한 에이전트당 4개 단위씩만 담당, 전체 25개 병렬 실행. Context 폭발 방지 + 최대 처리량.

왜 먹히나: 한 에이전트가 맡는 작업량에 sweet spot이 있음. 너무 많으면 컨텍스트 오염, 너무 적으면 오버헤드.

한 에이전트가 4개씩만 담당하도록 하면 context 폭발을 방지

최소 기능 단위들을 독립적으로 만들어 자유로이 조합. RGB 색상처럼 각 축이 독립적이면 모든 조합 가능.

왜 먹히나: 직교성이 없으면 기능들이 서로 간섭. 조합 폭발이 선형에서 멈춤.

최소 단위 기능을 가지고 뭐든지 조합을 하는 그런 느낌

다중 에이전트 작업 시 공유 태스크 리스트로 상태 관리. 파일 locking으로 작업 충돌 해소.

왜 먹히나: 에이전트들이 같은 파일을 동시에 수정하면 손실. 명시적 락 없으면 누가 먼저인지 모름.

작업의 흔적을 남기는 파일들의 교착 상태를 관리하는 locking

그 안이 내키지 않는다고 답한다.