LLM 시대를 예측한 Peter Norvig의 다음 예측

https://www.youtube.com/watch?v=JLM7Ux3AGBY

 

위 영상을 보고 작성함

 

-----

 

3줄요약

1. 피터노빅은 17년전 대규모 데이터와 통계로 모델을 활용해야 한다라는 말로 LLM 시대를 예견함

2. 최근 바이브 코딩, LLM과 코딩 배틀로 실험

3. 검증자가 되어야함

 

 

Norvig의 최근 LLM 코딩 실험

Norvig는 2025년 Advent of Code 문제를 Gemini, Claude, ChatGPT 같은 LLM에게 풀게 하고 자신의 코드와 비교함.

LLM들은 모든 문제에 대해 정답을 내는 코드를 만들었고, 1년 전과 비교해 엄청나게 발전함.

자신도 이제는 모든 코딩에 LLM을 보조 도구로 써야겠다고 생각하기 시작했다고 적었음.

 

하지만 LLM은 자신의 코드보다 약 5배 장황했고, 실행 속도는 약 3배 느렸으며, 파싱·처리·결과 반환이 한 함수에 뒤섞이는 등 스타일 개선 여지가 많았다고 평가함.

-> AI가 답을 만들 수 있다.
하지만 인간은 그 답이 맞는지, 간결한지, 유지보수 가능한지, 문제의 본질을 제대로 잡았는지 판단해야 함.

노빅의 방향성

1. 코딩은 “작성”보다 “검증” 중심으로 바뀐다

AI는 코드를 생성하는 속도에서 인간을 이미 압도했지만 장황하거나 느린 코드 작성

-> 그래서 앞으로 중요한 역량은

문제를 정확히 정의하는 능력
AI가 낸 결과를 검증하는 능력
불필요한 코드를 제거하는 능력
테스트와 벤치마크로 품질을 보장하는 능력
시스템 전체 맥락에서 맞는 설계를 고르는 능력

즉, 개발자는 코더에서 검증자, 설계자, 편집자, 오케스트레이터가 됨

2. AI를 쓰지 않는 개발자가 아니라, AI 결과를 검증하지 못하는 개발자가 위험해짐

 

AI가 학습 시간을 없애주는 것이 아니라, 학습의 형태를 바꿈.
예전에는 직접 구현하며 배웠다면, 이제는 AI가 만든 결과를 읽고, 비교하고, 반박하고, 줄이고, 테스트하면서 배움.

3. “작은 문제 풀이”보다 “전체 시스템 책임”이 중요해짐.

실무에는 인증, 보안, 장애 대응, 배포, 데이터 정합성, 비용, 운영, 모니터링, 사용자 경험, 레거시 코드, 팀 규칙이 있어 복잡함.

LLM은 부분 문제를 잘 풀 수 있지만, 전체 시스템 책임은 아직 인간이 져야함.
-> 다음 시대의 핵심은 AI에게 일을 시키는 능력 + 결과를 운영 가능한 시스템으로 통합하는 능력

4. 앞으로 준비하면 좋을 것?

1) AI가 만든 코드를 검증하는 검증자
준비할 것은 단순 프롬프트가 아니라 검증 루프.

 

ex) 
1. 요구사항을 작게 쪼갠다.
2. AI에게 구현시킨다.
3. 내가 직접 읽는다.
4. 테스트를 만든다.
5. 엣지케이스를 추가한다.
6. 성능/보안/운영 관점으로 다시 본다.
7. 코드량을 줄인다.
8. 문서화한다.
9. 배포 후 모니터링 지표를 붙인다.

2) 테스트, 벤치마크, 하네스 역량

테스트 하네스, 평가 기준, 벤치마크, 자동 검증 파이프라인을 잘 만드는 사람

- 단위 테스트
- 통합 테스트
- 계약 테스트
- API 회귀 테스트
- 성능 테스트
- 장애 주입 테스트
- 보안 체크리스트
- 로그/메트릭/트레이싱
- AI가 만든 코드에 대한 리뷰 체크리스트

3. 코드 압축 능력

AI는 돌아가는 코드를 만들지만, 불필요한 클래스, 과한 추상화, 장황한 예외 처리, 중복된 유틸 함수를 많이 만들 수 있음.
AI가 500줄로 만든 코드를 120줄로 줄이면서도, 테스트와 의미를 유지하는 사람.

참고할만한 repo

 

obra/superpowers: An agentic skills framework & software development methodology that works.

GitHub - obra/superpowers: An agentic skills framework & software development methodology that works.

 

github/spec-kit: 💫 Toolkit to help you get started with Spec-Driven Development

GitHub - github/spec-kit: 💫 Toolkit to help you get started with Spec-Driven Development

 

forrestchang/andrej-karpathy-skills: A single CLAUDE.md file to improve Claude Code behavior, derived from Andrej Karpathy's observations on LLM coding pitfalls.

GitHub - forrestchang/andrej-karpathy-skills: A single CLAUDE.md file to improve Claude Code behavior, derived from Andrej Karpa