AI 세무 리서치가 가산세를 놓치는 이유: 프롬프트가 아니라 하네스를 깎아야 합니다

세법 검토 에이전트가 부가세 가산세를 통째로 놓쳤습니다.

쉽게 말하면 이런 일입니다. 신입에게 "부가세 가산세 검토해 오라"고 시켰더니 부가가치세법만 보고 왔습니다. 혼낼 일이 아닙니다. 그 친구는 조세특례제한법에도 부가세 가산세가 있다는 걸 몰랐던 겁니다.

저는 처음에 잔소리를 했습니다. 지시문을 다시 썼죠. 소용없었습니다. 원인은 판단력이 아니라 검색이었습니다. 법령 검색 도구에 "부가세 서식미작성 가산세"를 넣으면 0건이 나옵니다. 그 도구는 법령명만 찾지 조문 본문은 못 찾거든요. 못 찾은 것인데 없는 것처럼 지나갑니다. 그러면 모델은 자기 기억으로 그 자리를 메웁니다. 답은 매끄럽게 나오고, 근거만 없습니다.

틀린 답보다 무서운 건 조용한 0입니다.

AI 세무 리서치가 틀리는 방식 — 오답이 아니라 누락입니다

▍조문 하나를 찾는 일과, 빠진 조문을 찾는 일은 다릅니다

AI에 맡길 때 걱정하는 건 대개 오답입니다. 조문번호를 지어내거나 세율을 틀리게 말하는 것. 그건 눈에 보이니 잡기 쉽습니다. 위험한 건 그 자리에 아무것도 없는 경우입니다. 부가세 가산세를 검토하면서 부가가치세법만 봤다면, 그 회신은 어디도 틀리지 않았습니다. 인용한 조문은 다 맞습니다. 다만 조세특례제한법에 흩어진 아홉 개 조문을 못 봤을 뿐입니다. 검토받는 사람은 그걸 알아차릴 수 없습니다. 없는 것은 보이지 않으니까요.

숫자로 보면 이렇습니다. 조세특례제한법은 조문이 458개인데 본문에 "가산세"를 언급하는 조문이 28개입니다. 그중 조문 제목에 "가산세"가 들어 있는 건 두 개입니다. 목차만 훑는 방식으로는 26개를 놓칩니다.

하네스란 무엇인가 — 말은 그대로 두고 마구를 바꿉니다

▍A4 500장을 읽어 오라는 건 시킬 수 있는 지시가 아닙니다

여기서 용어 하나만 짚고 가겠습니다. 하네스는 모델을 둘러싼 도구 일체를 말합니다. 원래 마차의 마구를 가리키는 말인데요, 말은 그대로 두고 마구만 바꾼다는 뜻입니다. AI로 치면 모델은 건드리지 않고 그 주변의 검색·조회·검증 도구를 손보는 일입니다.

제가 그랬듯 대부분은 지시문을 손봅니다. "조특법도 반드시 확인하라"를 굵은 글씨로 넣는 식으로요. 그런데 조세특례제한법 전문은 1MB입니다. A4로 치면 500장쯤 됩니다. 신입에게 "이거 다 읽고 가산세 관련 조문 뽑아와"는 시킬 수 있는 지시가 아닙니다. 사람이든 모델이든 못 합니다. 못 하니까 아는 대로 답합니다.

그래서 잔소리 대신 도구를 만들었습니다. 여러 법령의 전문을 서버에서 훑어 키워드가 걸린 조문만 골라 돌려주는 도구입니다. 항과 호 본문까지 봅니다. 500장을 읽으라는 지시가 28개를 검토하라는 지시로 바뀐 겁니다.

모델이 못 하는 일은 모델에게 더 잘 부탁해서 풀리지 않습니다. 그 일을 대신 해줄 도구를 깎아야 합니다.

사무실 언어로 옮기면 이렇습니다. 신입이 서류를 못 찾아오면 "잘 좀 찾아와"라고 말하는 게 지시문이고, 서류함에 색인을 만들어 주는 게 하네스입니다. 색인은 대개 세 가지를 답해 줍니다. 무엇을 검색할 수 있는가, 결과를 어디까지 좁힐 수 있는가, 못 찾았을 때 그 사실이 드러나는가.

감사의 검토 범위 개념을 에이전트로 옮겼습니다

▍회계사는 안 본 것을 적는 훈련을 이미 받았습니다

세 번째 항목이 제일 어려웠는데, 답은 이미 제 안에 있었습니다.

감사보고서에는 감사범위 문단이 있죠. 무엇을 감사했고 무엇은 하지 않았는지 적고, 확인 못 한 부분이 중요하면 한정의견이 나갑니다. 회계사는 안 본 것을 명시하는 훈련을 15년 동안 받습니다. 직업의 기본기입니다.

에이전트 회신에는 그게 없었습니다. 훑은 법령도 못 훑은 법령도 똑같이 침묵했고, 그 침묵이 "해당 없음"으로 읽혔습니다. 그래서 회신 서식에 검토 범위 표를 필수 칸으로 박았습니다. 어떤 법령을 어떤 키워드로 훑었고 무엇이 나왔는지, 확인 못 한 것은 미확인이라고 적습니다. 근거마다 등급도 붙입니다. 원문을 확인한 것, 요지만 본 것, 확인 못 한 것.

금지 문구를 늘리는 대신 채워야 할 빈 칸을 만든 것이 요령이었습니다. "빠뜨리지 마라"는 흘려듣게 됩니다. 빈 칸은 안 채우면 눈에 띕니다.

루프를 돌린다 — 이틀에 다섯 번, 매번 원인이 달랐습니다

▍한 번에 고쳐지는 문제였으면 애초에 안 생겼습니다

여기서 두 번째 용어입니다. 루프는 한 번 고치고 끝내지 않고, 고친 뒤 다시 돌려보고 또 고치는 주기를 말합니다. 결산으로 치면 시산표 맞을 때까지 돌리는 것과 같습니다. 한 번에 맞으면 좋지만 보통은 안 맞죠.

가산세 누락을 고친 게 첫 라운드였습니다. 거기서 끝날 줄 알았습니다.

둘째는 회계기준 쪽의 잘 만든 조회 도구와 제 것을 나란히 놓고 보다 나왔습니다. 제 것은 부칙을 통째로 버리고 있었습니다. 세법에서 "언제부터 적용되나"의 근거는 조문이 아니라 부칙에 있습니다. "이 법 시행 이후 공급하는 분부터"와 "시행 이후 신고하는 분부터"는 다른 기준점이고, 그 문장은 부칙에만 있습니다.

셋째는 더 민망했습니다. 세법 질문을 받고도 법령 도구를 안 부르고 웹으로 답하는 경우가 있었습니다. 절차서 안에서는 못 고칩니다. 절차서는 불려온 뒤에만 읽히니까요. 질문이 들어오는 길목에 검문소를 세웠습니다.

넷째와 다섯째에서는 미해결로 적어 둔 세 건 중 둘을 고쳤습니다. 설계서에는 조문 사이 연계를 "사람이 눈으로 잡는다"고 적어 뒀는데, 만들고 보니 도구가 잡더군요.

가장 아팠던 건 기능이 아니었습니다. 에이전트는 국세청 예규와 조세심판원 결정을 "조회할 방법이 없다"고 적어 두었습니다. 도구 하나에서 안 나오는 걸 보고 단정한 것이었죠. 틀린 말이었습니다. 창구 이름만 달랐고, 예규는 136,409건, 심판례는 140,478건이 본문까지 열립니다.

문제는 제가 그 말을 몇 달 동안 그대로 믿었다는 겁니다. 그 한 줄은 문서 네 곳에 복사돼 굴러다녔고, 그동안 회신은 예규를 웹으로만 찾았습니다.

정작 고친 건 개념이 아니라 질문이었습니다

▍저는 하네스를 알아서 고친 게 아닙니다

여기까지 읽고 "저런 걸 알아야 AI를 쓰는구나" 싶으셨다면 순서가 반대입니다. 다섯 라운드를 되짚어 보면 개선을 끌어낸 건 제 기술 지식이 아니라 세 개의 질문이었습니다.

① "그거 반영된 거야?" — 다 고쳤다는 보고를 받고 확인해 보니 스킬만 바뀌고 설계서는 그대로였습니다. 완료 보고와 실제 상태가 달랐습니다.

② "정말 못 하는 거야?" — "조회할 방법이 없다"는 답을 세 번 받았고 세 번 다 틀렸습니다. 마지막엔 신청 화면을 직접 캡처해서 들이밀고서야 끝났습니다. 말로 오간 진술이 아니라 화면이라는 외부 증거가 필요했습니다.

③ "알고 있으면 고쳐야 하는 거 아니야?" — 저는 미해결 구멍 세 건을 문서에 적어 두고, 그 한계를 배포판에 넣을지 말지를 논의하고 있었습니다. 알고도 안 고치는 상태를 정당화하던 참이었죠. 이 질문 하나에 도구 네 개가 나왔습니다.

세 번 다 에이전트가 단정했고, 세 번 다 틀렸습니다.

여기가 갈리는 지점입니다. AI는 틀릴 때 그럴듯하게 틀립니다. "국세청 예규는 그 창구 범위 밖입니다"라는 문장은 읽어서는 아무 이상이 없고, 기술적으로 반박할 근거도 저한테는 없었습니다. 저를 멈춰 세운 건 실무 감각이었습니다. 예규를 못 보고 세무 회신을 쓴다는 게 말이 안 되니까요.

"이건 없을 리가 없는데" 하는 위화감, 그게 도메인 전문가가 가진 계기판입니다.

모른다는 것을 모르는 쪽과, 그걸 의심하는 쪽은 역할이 다릅니다. 고치는 건 AI가 훨씬 빠릅니다. 어디가 틀렸는지는 그 일을 15년 한 사람이 압니다. 고칠 줄 몰라도 됩니다. 넘어가지만 않으면 됩니다.

세 질문 모두 하네스나 루프를 몰라도 던질 수 있습니다. 그리고 회계사는 이미 이걸 매일 합니다. 경영진 진술을 그대로 받지 않고, 반영됐는지 후속으로 확인하고, 진술보다 외부 증거를 우선하는 것. 감사에서 직업적 회의주의라고 부르는 그것입니다.

AI를 잘 쓰려고 새로 배워야 할 것이 프롬프트 기법이라고들 하는데, 적어도 이 일에서는 아니었습니다. 15년 동안 훈련한 것이 그대로 쓰였습니다.

그래서 내 에이전트는 어떻게 깎나

▍고칠 줄 몰라도 됩니다. 순서만 알면 됩니다

되짚어 보니 다섯 라운드가 전부 같은 순서를 밟았습니다.

① 재현되는 케이스 하나를 붙잡습니다. "요즘 좀 부정확하다"로는 아무것도 못 고칩니다. "부가세 서식미작성 가산세를 물었더니 조특법 아홉 조문을 빠뜨렸다"까지 좁혀야 원인을 팔 수 있습니다. 그리고 이 케이스는 실사용하는 사람만 만들 수 있습니다. AI는 자기가 무엇을 놓쳤는지 관측하지 못합니다.

② 잔소리로 풀릴 일인지 가릅니다. 기준은 하나입니다. 시킨 일이 물리적으로 가능한가. A4 500장을 읽으라는 지시는 불가능합니다. 불가능한 일은 지시문을 백 번 고쳐도 그대로입니다. 도구를 만들어야 할 자리라는 신호죠.

③ 고친 뒤 그 케이스로 다시 돌립니다. 이게 루프입니다. 통과했는지는 기록으로 남깁니다. 지금 그 서버에는 자체 점검 항목이 스물다섯 개 있습니다. 처음엔 아홉 개였고요. 늘어난 항목 수만큼만 실제로 개선된 겁니다.

④ "안 됩니다"는 대조군으로 검증합니다. 옆 창구를 하나 찍어보면 됩니다. 관세청은 열리는데 국세청만 안 열린다면, 그건 원래 안 되는 것이 아닙니다.

⑤ 산출물에 "안 본 것" 칸을 만듭니다. 그래야 다음 실패가 눈에 보입니다.

⑤와 ①이 이어져 있다는 게 핵심입니다. 검토 범위 칸이 다음 케이스를 만들고, 그 케이스가 다음 라운드를 엽니다. 한 번 하고 끝나는 프로젝트가 아니라 굴러가는 사이클입니다. 그리고 이 사이클의 출발점은 매번 사람 쪽에 있습니다.

결산이든 세무 검토든 마찬가지입니다. 산출물이 맞았는지보다 무엇을 근거로 어디까지 봤는지가 남아야 다음 사람이 이어받습니다.

AI가 "그건 안 됩니다"라고 했을 때, 마지막으로 그 말을 되물어 본 게 언제입니까?

자주 받는 질문

Q. 하네스가 정확히 무엇인가요?

A. 모델을 둘러싼 도구 일체입니다. 원래 마차의 마구를 뜻하는 말로, 말은 그대로 두고 마구만 바꾼다는 의미입니다. 회계사 사무실로 옮기면 신입에게 "잘 좀 찾아와"라고 말하는 게 지시문이고, 서류함에 색인을 만들어 주는 게 하네스입니다.

Q. AI 세무 리서치는 어느 정도까지 믿을 수 있나요?

A. 근거 조문의 출처 링크가 함께 나오는 수준까지는 믿을 수 있습니다. 링크가 없거나 도구가 준 링크가 아니라 조립된 링크라면 믿지 마십시오. 조문 링크를 지어내는 것이 가장 잦은 환각입니다. 검토 범위와 근거 등급이 함께 나오면 그때부터 사람이 검증할 수 있는 문서가 됩니다.

Q. 지시문을 잘 쓰면 누락을 막을 수 있지 않나요?

A. 도구가 못 찾는 것은 지시문으로 못 막습니다. 법령명만 검색하는 도구에 내용 키워드를 넣으면 0건이 나오고, 0건이 나오면 모델은 기억으로 메웁니다. A4 500장을 읽으라는 지시도 실행 불가능하긴 마찬가지고요. 이런 경우엔 검색 도구 자체를 바꿔야 합니다.

Q. 가산세 검토에서 가장 흔한 누락은 무엇인가요?

A. 해당 세목법만 보는 것입니다. 부가세 가산세인데 조세특례제한법에 관련 조문이 아홉 개 있고, 부가가치세법 제60조 제10항은 법인세법과 소득세법의 가산세를 끌어와 중복 적용을 배제합니다. 국세기본법의 가산세 감면과 한도를 빼먹으면 금액 자체가 틀립니다. 조문을 찾았다고 끝이 아니라 감면과 중복배제까지 봐야 합니다.

Q. 회계사가 AI를 잘 쓰려면 무엇을 배워야 하나요?

A. 프롬프트 기법보다 먼저 쓰이는 건 이미 가진 훈련입니다. 이 에이전트의 개선을 끌어낸 건 세 질문이었습니다. "그거 반영된 거야", "정말 못 하는 거야", "알고 있으면 고쳐야 하는 거 아니야". 경영진 진술을 그대로 받지 않고, 반영 여부를 후속 확인하고, 진술보다 외부 증거를 우선하는 것 — 직업적 회의주의가 그대로 작동합니다. 직접 만들 필요는 없지만, 도구가 무엇을 검색할 수 있고 못 찾았을 때 그 사실이 드러나는지는 확인해야 합니다.

이 글의 다섯 단계를 각자 자기 에이전트에 붙여 보는 회계사 오픈채팅방이 있습니다. 세법 검토 에이전트 설계서 원문도 그 방에 올려 두었습니다.