AI 세무 리서치가 가산세를 놓치는 이유: 세법 검토 에이전트의 하네스를 고친 이틀

세법 검토 에이전트가 부가세 가산세를 통째로 놓쳤습니다.

신입에게 "부가세 가산세 검토해 오라"고 시켰더니 부가가치세법만 보고 왔습니다. 혼낼 일이 아닙니다. 그 친구는 조세특례제한법에도 부가세 가산세가 있다는 걸 몰랐던 겁니다.

저는 처음에 잔소리를 했습니다. 지시문을 다시 썼죠. 소용없었습니다. 원인은 검색이었습니다. 법령 검색 도구에 "부가세 서식미작성 가산세"를 넣으면 0건이 나옵니다. 그 도구는 법령명만 찾지 조문 본문은 못 찾거든요. 못 찾은 것인데 없는 것처럼 지나갑니다. 그러면 모델은 자기 기억으로 답을 채웁니다. 답은 매끄럽게 나오고, 근거만 없습니다.

검색 결과 0건이 아무 표시 없이 지나가는 것이 문제였습니다.

AI 세무 리서치에서 더 위험한 실패는 누락입니다

▍빠진 조문은 검토받는 사람 눈에 보이지 않습니다

AI에 맡길 때 걱정하는 건 대개 오답입니다. 조문번호를 지어내거나 세율을 틀리게 말하는 것. 그건 눈에 보이니 잡기 쉽습니다. 위험한 건 있어야 할 조문이 아예 빠진 경우입니다. 부가세 가산세를 검토하면서 부가가치세법만 봤다면, 그 회신은 어디도 틀리지 않았습니다. 인용한 조문은 다 맞습니다. 다만 조세특례제한법에 흩어진 아홉 개 조문을 못 봤을 뿐입니다. 검토받는 사람은 그걸 알아차릴 수 없습니다.

숫자로 보면 이렇습니다. 조세특례제한법은 조문이 458개인데 본문에 "가산세"를 언급하는 조문이 28개입니다. 그중 조문 제목에 "가산세"가 들어 있는 건 두 개입니다. 목차만 훑는 방식으로는 26개를 놓칩니다.

하네스란 무엇인가: 모델 주변의 검색·조회·검증 도구

▍A4 500장을 읽어 오라는 건 시킬 수 있는 지시가 아닙니다

하네스는 모델을 둘러싼 도구 일체를 말합니다. 원래 마차의 마구를 가리키는 말로, 말은 그대로 두고 마구만 바꾼다는 뜻입니다. AI에서는 모델은 건드리지 않고 그 주변의 검색·조회·검증 도구를 손보는 일을 말합니다.

제가 그랬듯 대부분은 지시문을 손봅니다. "조특법도 반드시 확인하라"를 굵은 글씨로 넣는 식으로요. 그런데 조세특례제한법 전문은 1MB입니다. A4로 치면 500장쯤 됩니다. 신입에게 "이거 다 읽고 가산세 관련 조문 뽑아와"는 시킬 수 있는 지시가 아닙니다. 사람이든 모델이든 못 합니다. 못 하니까 아는 대로 답합니다.

그래서 잔소리 대신 도구를 만들었습니다. 여러 법령의 전문을 서버에서 훑어 키워드가 걸린 조문만 골라 돌려주는 도구입니다. 항과 호 본문까지 봅니다. 500장을 읽으라는 지시가 28개를 검토하라는 지시로 바뀌었습니다.

모델이 못 하는 일은 더 잘 부탁해도 풀리지 않았습니다. 그 일을 대신 해줄 도구가 필요했습니다.

사무실로 치면, 신입이 서류를 못 찾아올 때 "잘 좀 찾아와"라고 말하는 게 지시문이고 서류함에 색인을 만들어 주는 게 하네스입니다. 좋은 색인은 세 가지를 답해 줍니다. 무엇을 검색할 수 있는지, 결과를 어디까지 좁힐 수 있는지, 못 찾았을 때 그 사실이 드러나는지.

감사의 검토 범위 개념을 에이전트로 옮겼습니다

▍회계사는 안 본 것을 적는 훈련을 이미 받았습니다

세 번째 항목이 제일 어려웠습니다. 방법은 감사 실무에 이미 있었습니다.

감사보고서에는 감사범위 문단이 있습니다. 무엇을 감사했고 무엇은 하지 않았는지 적고, 확인 못 한 부분이 중요하면 한정의견이 나갑니다. 회계사는 안 본 것을 명시하는 훈련을 15년 동안 받습니다.

에이전트 회신에는 그게 없었습니다. 훑은 법령과 못 훑은 법령을 구분하지 않았고, 아무 말이 없으면 "해당 없음"으로 읽혔습니다. 그래서 회신 서식에 검토 범위 표를 필수 항목으로 넣었습니다. 어떤 법령을 어떤 키워드로 훑었고 무엇이 나왔는지, 확인 못 한 것은 미확인이라고 적습니다. 근거마다 등급도 붙입니다. 원문을 확인한 것, 요지만 본 것, 확인 못 한 것.

금지 문구를 늘리지 않고 채워야 할 항목을 만들었습니다. "빠뜨리지 마라"는 흘려듣게 되지만, 비어 있는 항목은 눈에 띕니다.

루프를 돌린 이틀: 다섯 번 고쳤고 매번 원인이 달랐습니다

▍한 번 고쳐서 끝나지 않았습니다

루프는 한 번 고치고 끝내지 않고, 고친 뒤 다시 돌려보고 또 고치는 주기를 말합니다. 결산으로 치면 시산표 맞을 때까지 돌리는 것과 같습니다. 한 번에 맞으면 좋지만 보통은 안 맞죠.

가산세 누락을 고친 게 첫 라운드였습니다. 거기서 끝날 줄 알았습니다.

둘째는 회계기준 쪽의 잘 만든 조회 도구와 제 것을 나란히 놓고 보다 나왔습니다. 제 것은 부칙을 통째로 버리고 있었습니다. 세법에서 "언제부터 적용되나"의 근거는 부칙에 있습니다. "이 법 시행 이후 공급하는 분부터"와 "시행 이후 신고하는 분부터"는 다른 기준점이고, 그 문장은 부칙에만 있습니다.

셋째는 더 민망했습니다. 세법 질문을 받고도 법령 도구를 안 부르고 웹으로 답하는 경우가 있었습니다. 절차서 안에서는 못 고칩니다. 절차서는 불려온 뒤에만 읽히니까요. 그래서 질문이 들어오는 단계에 법령 도구를 먼저 부르게 하는 검사를 넣었습니다.

넷째와 다섯째에서는 미해결로 적어 둔 세 건 중 둘을 고쳤습니다. 설계서에는 조문 사이 연계를 "사람이 눈으로 잡는다"고 적어 뒀는데, 만들고 보니 도구가 잡더군요.

가장 아팠던 건 따로 있었습니다. 에이전트는 국세청 예규와 조세심판원 결정을 "조회할 방법이 없다"고 적어 두었습니다. 도구 하나에서 안 나오는 걸 보고 단정한 것이었습니다. 틀린 말이었습니다. 창구 이름만 달랐고, 예규는 136,409건, 심판례는 140,478건이 본문까지 열립니다.

저는 그 말을 몇 달 동안 그대로 믿었습니다. 그 한 줄은 문서 네 곳에 복사돼 있었고, 그동안 회신은 예규를 웹으로만 찾았습니다.

개선을 끌어낸 것은 세 개의 질문이었습니다

▍기술 지식 없이 질문으로 고쳤습니다

여기까지 읽고 "저런 걸 알아야 AI를 쓰는구나" 싶으셨다면 순서가 반대입니다. 다섯 라운드를 되짚어 보면 개선을 끌어낸 건 세 개의 질문이었습니다.

① "그거 반영된 거야?" 다 고쳤다는 보고를 받고 확인해 보니 스킬만 바뀌고 설계서는 그대로였습니다. 완료 보고와 실제 상태가 달랐습니다.

② "정말 못 하는 거야?" "조회할 방법이 없다"는 답을 세 번 받았고 세 번 다 틀렸습니다. 마지막엔 신청 화면을 직접 캡처해서 들이밀고서야 끝났습니다. 말로 오간 진술보다 화면이라는 외부 증거가 필요했습니다.

③ "알고 있으면 고쳐야 하는 거 아니야?" 저는 미해결 문제 세 건을 문서에 적어 두고, 그 한계를 배포판에 넣을지 말지를 논의하고 있었습니다. 알고도 안 고치는 상태를 정당화하던 참이었습니다. 이 질문 하나에 도구 네 개가 나왔습니다.

에이전트는 세 번 단정했고 세 번 다 틀렸습니다.

AI는 틀릴 때 그럴듯하게 틀립니다. "국세청 예규는 그 창구에서 조회되지 않습니다"라는 문장은 읽어서는 아무 이상이 없고, 기술적으로 반박할 근거도 저한테는 없었습니다. 저를 멈춰 세운 건 실무 감각이었습니다. 예규를 못 보고 세무 회신을 쓴다는 게 말이 안 되니까요.

도메인 전문가는 "이건 없을 리가 없는데" 하는 위화감으로 AI의 단정을 의심할 수 있습니다.

고치는 속도는 AI가 훨씬 빠릅니다. 다만 어디가 틀렸는지는 그 일을 15년 한 사람이 알아챕니다. 고치는 방법을 몰라도, 틀린 단정을 넘기지 않는 것으로 충분했습니다.

세 질문 모두 하네스나 루프를 몰라도 던질 수 있습니다. 회계사는 이미 매일 하는 일입니다. 경영진 진술을 그대로 받지 않고, 반영됐는지 후속으로 확인하고, 진술보다 외부 증거를 우선하는 것. 감사에서는 이를 직업적 회의주의라고 부릅니다.

AI를 잘 쓰려고 새로 배워야 할 것이 프롬프트 기법이라고들 하는데, 적어도 이 일에서는 아니었습니다. 15년 동안 훈련한 것이 그대로 쓰였습니다.

세법 검토 에이전트를 고치는 다섯 단계

▍고치는 방법을 몰라도 따라갈 수 있는 순서

되짚어 보니 다섯 라운드가 전부 같은 순서를 밟았습니다.

① 재현되는 케이스 하나를 붙잡습니다. "요즘 좀 부정확하다"로는 아무것도 못 고칩니다. "부가세 서식미작성 가산세를 물었더니 조특법 아홉 조문을 빠뜨렸다"까지 좁혀야 원인을 찾을 수 있습니다. 그리고 이 케이스는 실사용하는 사람만 만들 수 있습니다. AI는 자기가 무엇을 놓쳤는지 관측하지 못합니다.

② 지시문으로 풀릴 일인지 판단합니다. 기준은 하나입니다. 시킨 일이 물리적으로 가능한가. A4 500장을 읽으라는 지시는 불가능합니다. 불가능한 일은 지시문을 백 번 고쳐도 그대로입니다. 그때는 도구를 만들어야 합니다.

③ 고친 뒤 그 케이스로 다시 돌립니다. 이게 루프입니다. 통과했는지는 기록으로 남깁니다. 지금 그 서버에는 자체 점검 항목이 스물다섯 개 있습니다. 처음엔 아홉 개였고요. 개선됐다고 말할 수 있는 건 늘어난 항목 수만큼입니다.

④ "안 됩니다"는 대조군으로 검증합니다. 옆 창구를 하나 찍어보면 됩니다. 관세청은 열리는데 국세청만 안 열린다면, 원래 안 되는 일로 볼 수 없습니다.

⑤ 산출물에 "안 본 것" 칸을 만듭니다. 그래야 다음 실패가 눈에 보입니다.

⑤는 ①로 이어집니다. 검토 범위 칸에서 다음 케이스가 나오고, 그 케이스로 다음 라운드를 돌립니다. 이 반복을 시작하는 쪽은 매번 사람입니다.

결산이든 세무 검토든 마찬가지입니다. 산출물이 맞았는지보다 무엇을 근거로 어디까지 봤는지가 남아야 다음 사람이 이어받습니다.

저는 이제 AI가 "그건 안 됩니다"라고 하면 한 번은 되물어 보려 합니다.

자주 받는 질문

Q. 하네스가 정확히 무엇인가요?

A. 모델을 둘러싼 도구 일체입니다. 원래 마차의 마구를 뜻하는 말로, 말은 그대로 두고 마구만 바꾼다는 의미입니다. 회계사 사무실로 옮기면 신입에게 "잘 좀 찾아와"라고 말하는 게 지시문이고, 서류함에 색인을 만들어 주는 게 하네스입니다.

Q. AI 세무 리서치는 어느 정도까지 믿을 수 있나요?

A. 근거 조문의 출처 링크가 함께 나오는 수준까지는 믿을 수 있습니다. 링크가 없거나 모델이 직접 조립한 링크라면 믿지 마십시오. 조문 링크를 지어내는 것이 가장 잦은 환각입니다. 검토 범위와 근거 등급이 함께 나오면 그때부터 사람이 검증할 수 있는 문서가 됩니다.

Q. 지시문을 잘 쓰면 누락을 막을 수 있지 않나요?

A. 도구가 못 찾는 것은 지시문으로 못 막습니다. 법령명만 검색하는 도구에 내용 키워드를 넣으면 0건이 나오고, 0건이 나오면 모델은 기억으로 메웁니다. A4 500장을 읽으라는 지시도 실행 불가능하긴 마찬가지고요. 이런 경우엔 검색 도구 자체를 바꿔야 합니다.

Q. 가산세 검토에서 가장 흔한 누락은 무엇인가요?

A. 해당 세목법만 보는 것입니다. 부가세 가산세인데 조세특례제한법에 관련 조문이 아홉 개 있고, 부가가치세법 제60조 제10항은 법인세법과 소득세법의 가산세를 끌어와 중복 적용을 배제합니다. 국세기본법의 가산세 감면과 한도를 빼먹으면 금액 자체가 틀립니다. 조문을 찾은 뒤 감면과 중복배제까지 봐야 합니다.

Q. 회계사가 AI를 잘 쓰려면 무엇을 배워야 하나요?

A. 프롬프트 기법보다 먼저 쓰이는 건 이미 가진 훈련입니다. 이 에이전트의 개선을 끌어낸 건 세 질문이었습니다. "그거 반영된 거야", "정말 못 하는 거야", "알고 있으면 고쳐야 하는 거 아니야". 경영진 진술을 그대로 받지 않고, 반영 여부를 후속 확인하고, 진술보다 외부 증거를 우선하는 직업적 회의주의가 그대로 쓰입니다. 직접 만들 필요는 없지만, 도구가 무엇을 검색할 수 있고 못 찾았을 때 그 사실이 드러나는지는 확인해야 합니다.

이 글의 다섯 단계를 각자 자기 에이전트에 붙여 보는 회계사 오픈채팅방이 있습니다. 세법 검토 에이전트 설계서 원문도 그 방에 올려 두었습니다.