[AI 사무실 2편] AI가 틀린 걸 AI로 잡기: "그런 저장소는 없다"던 Gemini, 원문을 열어 보니 있었다

내 PC에 AI 사무실을 차렸다 · 2편 — 글쓴이: 다섯시 퇴근 AI

AI가 “없다”고 단언한 것이 있었다. 주소를 직접 열어 보니 있었다.

내 PC에 AI 사무실을 차렸다는 내 컴퓨터에서 일하는 AI들을 작은 사무실의 직원처럼 보이게 만든 기록이다. 1편에서는 스레드에서 유행한 AI 사무실의 작동 원리를 살펴보고, 이미 쓰던 Orca 위에 세 회사의 AI를 모으기로 했다. 그런데 그 결정까지 가는 조사 과정에서 AI가 세 번 틀렸다. 이번 편은 그 이야기다.

조사를 AI 네 개에 나눠 맡겼다

만들기 전에 남들이 어떻게 만들었는지부터 알아야 했다. 찾아볼 것이 많아서 Gemini 네 개를 동시에 띄워 주제를 하나씩 나눠 맡겼다.

맡긴 주제	알고 싶었던 것
도구 비교	이미 나와 있는 AI 사무실 도구들과 그 차이
운영 사례	실제로 써 본 사람들이 겪은 장단점
기록 형식	AI가 남기는 신호와 대화 기록이 어떤 모양인지
그림 기법	캐릭터가 걷고 타자 치는 움직임을 그림으로 만드는 방법

네 개가 동시에 검색하니 결과는 금방 모였다. 대신 규칙을 하나 정해 두었다. 검색 결과를 그대로 믿지 않고, 결과에 나온 GitHub 저장소와 글은 Claude에게 원문을 직접 열어 대조하게 한다. 조사하는 AI와 확인하는 AI를 나눈 것이다.

이 규칙이 아니었다면 아래 세 가지를 그대로 믿고 넘어갔을 것이다.

틀린 것 하나: “그런 저장소는 없다”

조사 결과 하나는 특정 AI 사무실 저장소(po3561/ai-office)에 대해 “존재하지 않는다”고 단언했다.

원문을 직접 열어 보니 있었다. 메신저로 지시를 받아 부서별로 일을 나누는 방식의 AI 사무실이었다. 1편의 비교표에 들어간 도구 네 개 중 하나가 바로 이것이다.

AI가 “있다”고 한 것만 의심하기 쉽지만, “없다”는 단언도 똑같이 확인해야 한다. 이걸 믿었다면 참고할 만한 사례 하나를 통째로 놓쳤을 것이다.

틀린 것 둘: 열어 보니 404

다른 결과는 참고할 만한 글이라며 주소를 하나 알려 주었다.

주소를 열어 보니 404, 없는 페이지였다. 결과에는 멀쩡한 주소처럼 적혀 있었지만 실제로는 열리지 않는 링크였다.

틀린 것 셋: 원문에서 찾을 수 없는 숫자

AI 사무실과 관련해 눈여겨본 연구가 하나 있었다. 해외 경영 매체(HBR)에 실린 것으로, 화면이 귀여울수록 사람이 결재를 느슨하게 할 수 있다는 내용이다. 조사 결과에는 이 연구의 숫자가 세 개 붙어 있었다. 18%, 9%p, 44%.

숫자가 있으면 글이 단단해 보인다. 그런데 원문은 유료여서 그 숫자가 실제로 연구에 있는지 확인할 수 없었다. 그래서 숫자는 모두 뺐다. 확인할 수 없는 숫자는 쓰지 않는 게 원칙이다.

틀리는 유형별로, 이렇게 확인한다

세 가지를 겪고 나니 유형이 보였다. 지금은 AI 검색 결과를 받으면 유형별로 다르게 확인한다.

틀리는 유형	이번에 겪은 일	확인하는 방법
“없다”는 단언	있는 저장소를 없다고 함	이름으로 직접 검색하거나 주소를 직접 연다
그럴듯한 링크	알려 준 주소가 404	링크는 하나도 빼지 않고 눌러 본다
출처를 확인할 수 없는 숫자	유료 연구의 수치 세 개	원문에서 찾지 못하면 뺀다

공통점은 하나다. AI가 준 결론이 아니라, AI가 근거로 댄 원문을 본다.

조사하는 AI와 확인하는 AI를 나눈다

이번 일로 역할을 아예 나눠서 쓰게 됐다. 같은 AI에게 “다시 확인해 줘”라고 하면 처음 답을 그대로 반복하기도 한다. 그래서 조사와 확인을 서로 다른 AI에게 맡기고, 마지막 결정은 내가 한다.

역할	맡은 쪽	하는 일
조사	Gemini 네 개	넓게, 빠르게 찾아 온다
대조	Claude	결과에 나온 원문을 직접 열어 맞춰 본다
결정	나	확인된 것만 남기고, 확인 못 한 것은 뺀다

스레드에서 본 사례가 권한 방법 중 하나도 “만든 AI와 다른 AI가 검수한다”였다. 조사에서도 그대로 통했다.

확인은 사람이 한다는 생각, 화면에도 넣었다

AI 사무실의 결재 대기함에도 같은 생각이 들어가 있다. AI가 내 대답이나 허락을 기다리면 결재 대기함에 카드가 뜨는데, 그 아래에 체크 칸이 하나 있다.

첫 버전의 결재 대기함. 카드 속 업무 내용은 가렸다.

“결과물을 직접 확인했어요(귀여워도 검토는 꼼꼼히).” 숫자는 뺐지만, 귀여운 화면이 검토를 느슨하게 만들 수 있다는 경고는 새겨 둘 만했다. 화면이 귀여워도 결과를 대신 믿어 주지는 않는다. 확인은 결국 사람이 한다.

AI 검색 결과를 쓰기 전 체크리스트

• 조사는 여러 AI에 주제별로 나눠 맡기기
• 결과에 나온 링크는 전부 직접 열어 보기
• “없다”, “존재하지 않는다”는 단언도 직접 검색해서 확인하기
• 숫자는 원문에서 찾은 것만 쓰고, 못 찾으면 빼기
• 조사한 AI와 다른 AI에게 원문 대조 맡기기
• 무엇을 남길지는 마지막에 내가 정하기

다음 이야기, 그리고 질문 하나

조사를 마치고 첫 버전을 만들었다. 그리고 만든 쪽이 아닌 AI에게 검토를 맡겼더니, 예쁜 화면보다 훨씬 무서운 문제가 나왔다. 회사 PC에서 쓰는 AI 사무실의 업무 내용이 매일 밖으로 나가게 되어 있었던 것이다. 그 이야기는 3편 예쁜 사무실보다 무서운 것에서 이어진다.

마지막으로 묻고 싶다. 최근 AI가 알려 준 링크 가운데, 직접 눌러서 열어 본 것은 몇 개인가.

— 다섯시 퇴근 AI

---

이 글은 필자가 2026년 10월 실제로 만든 개인용 프로그램의 기록이다. 화면 사진 속 업무 내용은 가렸다. AI 검색 결과의 정확도는 도구와 시점에 따라 다르다.