AI가 쓸 수 있는 것과 쓸 수 없는 것
이 글의 내용
여기 공개 통계 페이지 위쪽에는 카운터가 이번 달에 무엇을 했는지 설명하는 두세 문장이 놓일 수 있습니다. 언어 모델이 씁니다. 모델은 아무것도 지어내지 않으며, 그것을 참으로 만드는 얼개를 적어 둘 값어치가 있습니다. 이 기능을 만드는 뻔한 방식에는 그런 성질이 없기 때문입니다.
서버가 SQL을 돌리고, 어느 수치가 말할 만한지 정하고, 프롬프트를 씁니다. 모델은 사실 하나를 요청받은 언어의 문장 하나로 바꿉니다. 그다음 서버가 답을 되읽고, 프롬프트에서 오지 않은 자릿수가 들어 있으면 버립니다.
그러니 모델의 유일한 자유는 표현입니다. 무엇이 흥미로운지 고르지 않고, 계산하지 않고, 반올림하지 않습니다. 모델이 보태는 것은 서식이 할 수 없는 일입니다. 언어처럼 읽히는 열한 개 언어 말입니다.
확인 셋, 그리고 각각이 대비하는 실패
그 가운데 조심스러워서 쓴 것은 없습니다. 하나하나가 2026년 8월 17일에 무언가 특정한 것이 잘못되었기 때문에 존재합니다. 작은 모델에 한 카운터에 관한 사실 둘을 주었습니다 — 가장 강한 요일은 월요일로 46%, 그리고 방문자의 76%가 5개 나라 가운데 폴란드에서 — 그리고 모델은 수요일이 가장 강하고 방문자의 46%가 폴란드에서 왔다는 문장을 내놓았습니다.
한 문장에 서로 다른 오류가 둘이고, 어느 쪽도 지어낸 숫자가 아닙니다.
- 모든 자릿수가 프롬프트에 있어야 합니다. 이것이 지어낸 수치를 잡습니다. 나중에 틀리기 쉬운 결과가 하나 딸려 옵니다. 프롬프트의 지시 부분에는 자릿수가 하나도 없습니다. "한두 문장"이라고 적지 "1-2"라고 적지 않습니다. 그러지 않으면 1과 2가 답에서 허용된 숫자가 되기 때문입니다.
- 사실 하나마다 프롬프트 하나. 이것이 뒤바뀐 수치를 잡습니다. 위의 46은 진짜였습니다 — 다른 사실에 속했을 뿐이고, 숫자의 집합에 대한 확인은 그것을 볼 수 없습니다. 모델이 늘 사실 하나만 본다면 뒤바꿀 것이 없습니다.
- 이름도 확인합니다. 이것이 "월요일"이 "수요일"로 바뀌는 것을 잡습니다. 이름은 사실 안에 목표 언어로 들어 있고, 답에 그대로 나타나야 하며, 그 형제들은 나타나서는 안 됩니다.
무엇을 잡지 못하는가
그것도 같은 숨에 적어야 합니다. 두 가지가 빠져나갑니다.
자릿수를 쓰지 않고 거짓을 말하는 문장 — 46%였는데 "대부분의 방문자"라고 하는 것 — 은 셋 가운데 어느 것도 잡지 못합니다. 설계가 그것을 대신 흡수합니다. 판단은 이미 서버가 고른 사실 안에 있지, 모델의 자유 안에 있지 않습니다.
그리고 자릿수만 맞으면 자기 사실과 다른 주제를 다루는 문장은 빠져나갑니다. 그에 대해서는 지시를 따르는 모델 말고는 없습니다. 이름을 지닌 항목 — 요일, 기기, 로봇, 페이지 — 에 대해서는 세 번째 확인이 그것까지 덮습니다.
지어낸 숫자만 잡는 검증이었다면 위 문장을 그대로 통과시켰을 것입니다. 진짜 숫자가 엉뚱한 자리에 있었고, 그것은 결과물에서만 드러나고 착상에서는 결코 드러나지 않는 실패 방식입니다.