매번 처음부터 다시 묻는 AI, 법무사 사무소에 ‘기억’을 심는 법

들어가며

「작년에 이 회사 등기를 우리가 했는데, 그 내용을 인공지능한테 또 처음부터 다 설명하고 있네.」 사무실에서 AI를 써 본 분이라면 한 번쯤 했을 혼잣말입니다. 어제 알려준 법인을 오늘 또 모르고, 같은 의뢰인을 매번 초면처럼 대합니다.

이 글은 그 문제를 푸는 방법을 다룹니다. AI에게 사무소의 ‘기억’을 만들어 주는 ‘LLM 위키’입니다. 오픈AI 공동창립자 안드레이 카파시(Andrej Karpathy)가 제안한 방식을, 제가 1인 사무소 실무에 그대로 옮겨 쓰고 있습니다. 코딩은 못 합니다. 그래도 됩니다.

왜 AI는 어제 일을 모르나 — 기억이 없는 도구

지금의 AI에는 장기 기억이 없습니다. 우리가 나눈 대화에서 배우지 못합니다. 그래서 모든 질문에 늘 초면인 척, 제로에서 다시 시작합니다.

법무사 일은 본질이 반복이기 때문입니다. 같은 법인 등기를 몇 년마다 다시 하고, 한 의뢰인이 다른 일로 또 찾아옵니다. 우리 머릿속에는 「이 회사 예전에 봤는데」 하는 기억이 늘 돌아갑니다. 그런데 AI는 석 달 전에 분명히 알려준 것을 오늘 또 처음 듣는 척합니다.

문제는 AI가 멍청해서가 아닙니다. 기억을 만들어 주지 않아서입니다. 도구를 한 번 쓰고 버리느냐, 쓸수록 쌓이는 시스템으로 만드느냐의 차이입니다.

LLM 위키란 무엇인가 — 원본 · 정리본 · 규칙 세 칸

카파시가 내놓은 답은 ‘LLM 위키’입니다. 쉽게 말하면, AI가 직접 만들고 관리하는 나만의 위키백과입니다. AI가 그때그때 답만 하는 검색기가 아니라, 내 자료를 정리해 쌓아 두는 사서가 되는 것입니다.

그가 든 비유는 컴파일러입니다. 프로그램을 돌릴 때 소스코드를 매번 한 줄씩 해석하지 않고, 한 번 정리해 실행 파일을 만들어 둡니다. 흩어진 자료를 AI로 한 번 정리해, 언제든 바로 꺼내 쓰는 위키로 만드는 것도 같은 원리입니다.

구조는 세 칸입니다.

핵심은 이겁니다. 사람은 원본을 넣고 정리본을 읽기만 하며, 고치는 일은 AI에게 맡깁니다. 그래서 지식이 한 번 쓰고 사라지지 않고 차곡차곡 쌓입니다. 쌓일수록 똑똑해집니다.

법무사 사무소에 옮기면 — 등기부 한 통이 회사 노트가 된다

제 사무소에서 어떻게 돌아가는지 그대로 말씀드립니다. 도구는 둘입니다. 정리된 노트를 사람이 읽는 작업실로 옵시디언(Obsidian), 자료를 읽고 정리본을 쓰는 일꾼으로 클로드(Claude) 같은 AI를 씁니다. 둘 다 시작 비용은 거의 들지 않습니다.

새 법인 등기부 한 통을 받으면, 자료 칸에 넣고 「위키 작업해 줘」 한마디만 합니다. 그러면 AI가 등기부를 읽고 회사 노트를 만듭니다. 대표 · 임원 · 자본금 · 본점 · 업종이 정리되고, 목차에도 한 줄 더해집니다. 다음에 그 회사 일이 들어오면 처음부터 설명할 필요 없이 거기서 바로 시작합니다.

같은 방식으로 의뢰인이 늘고 사건이 늘면, 사람과 회사와 사건이 서로 연결됩니다. 1인 법인 설립이나 임원변경 등기처럼 같은 회사를 몇 해에 걸쳐 다시 다루는 업무일수록, 이 누적의 힘이 커집니다.

가장 큰 실익 — 새 의뢰인의 이해상충을 착수 전에 잡는다

진짜 힘은 새 의뢰인이 왔을 때 나옵니다. 가공의 사례로 설명하겠습니다.

이때 착수 전에 AI에게 「이 사람과 우리 사무소가 과거에 이력이 있는지 확인해 줘」라고 시킵니다. AI는 위키 전체를 훑어 이렇게 알려 줍니다. 「B씨는 ㄱ회사 대표입니다. 그런데 ㄱ회사는 과거 우리 의뢰인 A씨의 상대방이었습니다. 이해상충 소지가 있으니 수임 전에 확인이 필요합니다.」

이해상충을 사람의 기억으로 더듬는 것이 아니라, 시스템이 먼저 띄워 주는 것입니다. 한 번 넣어 둔 사건이 몇 해 뒤 나를 지켜 줍니다. 실무에서 가장 무서운 것이 「예전에 우리가 반대편에 섰던 사람인 줄 모르고 받는 것」인데, 그 사고를 구조로 막습니다.

비개발자도 되나 — 설치부터 정리까지 AI에게 시킨다

「나는 개발자가 아닌데」 하실 겁니다. 저도 법무사지 개발자가 아닙니다. 설치도, 폴더 만들기도, 규칙 정하기도 전부 AI에게 시켰습니다.

방법은 의외로 단순합니다. 카파시가 공개한 프롬프트를 법무사용으로 바꿔, AI에게 한 번 붙여넣으면 시작됩니다. 핵심은 「폴더 구조는 네가 먼저 제안하고, 내 확인을 받고 진행해」라는 한 줄입니다. AI가 알아서 틀을 짜 오고, 우리는 보고 승인만 하면 됩니다. 아래가 제가 실제로 쓰는 프롬프트의 뼈대입니다.

너는 내 법무사 사무소의 '지식 사서'다. 우리는 'LLM 위키'를 만든다.
나는 개발자가 아니다. 어려운 말 대신 실무 언어로 설명하고,
큰 변경은 먼저 제안하고 내 확인을 받은 뒤 진행해.

폴더는 세 칸으로 나눈다.
- raw    : 내가 넣는 날것 자료(등기부·계약서·상담 메모). 진실의 원천. 여기는 고치지 마.
- wiki   : 네가 raw를 읽고 만든 정리본. 회사·인물·사건으로 나눈다.
- schema : 정리 규칙을 적어 둔 설명서.

[착수 전 점검] 새 의뢰인·새 사건을 말하면, 착수 전에 wiki 전체를 훑어 먼저 보고해라.
1) 과거 이력  2) 이해상충(이 사람이 과거 사건의 상대방은 아닌가)  3) 연결 사건

먼저 폴더 구조를 네가 제안하고, 내 확인을 받은 뒤 만들어.

원래 아이디어와 프롬프트 원문은 카파시가 공개한 LLM Wiki 메모(GitHub Gist)에서 볼 수 있습니다. 그것을 사무소 언어로 옮긴 것이 위 프롬프트입니다.

사무소 전체로 — 하나의 기억을 공유한다

한 번 만들면 끝이 아닙니다. 옵시디언에는 동기화 기능이 있어, 사무실 여러 컴퓨터와 직원이 하나의 기억을 공유할 수 있습니다. 내 컴퓨터에서 정리한 것을 직원 컴퓨터의 AI도 그대로 압니다.

다만 한 가지는 분명히 해야 합니다. 사무소의 자료는 의뢰인의 비밀이기 때문입니다. 자료는 본인 컴퓨터에 두고 신뢰할 수 있는 동기화 수단으로만 공유하며, 외부에 함부로 올리지 않는 원칙을 처음부터 세워 두십시오. 기억이 강력해질수록 그 관리도 같이 무거워집니다.

글을 마치며

AI는 매번 리셋됩니다. 그러나 기억을 만들어 주면, 넣을수록 똑똑해지는 시스템이 됩니다. 돈에 이자가 붙듯 지식에도 복리가 붙습니다. 카파시는 기사 100여 개로 40만 단어짜리 개인 위키를 만들었다고 합니다. 우리 같은 비개발자도 충분히 할 수 있는 일입니다.

도구를 하나 더 들이라는 이야기가 아닙니다. 매번 처음부터 다시 설명하는 일을 멈추고, 사무소가 쌓아 온 20년을 AI가 기억하게 만들자는 것입니다. 한 번 넣은 기억이 결국 나를 지켜 줍니다.