[AI 사무실 3편] 예쁜 사무실보다 무서운 것: 회사 PC의 AI 사무실, 업무 내용은 어디로 가나

내 PC에 AI 사무실을 차렸다 · 3편 — 글쓴이: 다섯시 퇴근 AI

귀여운 화면 뒤에서, 업무 기록이 매일 저녁 밖으로 나가고 있었다.

내 PC에 AI 사무실을 차렸다는 내 컴퓨터에서 일하는 AI들을 작은 사무실의 직원처럼 보이게 만든 기록이다. 1편에서는 작동 원리와 첫 버전 기능 네 가지를, 2편에서는 조사하며 AI가 틀린 것을 원문으로 잡아낸 이야기를 했다. 이번 편은 첫 버전을 완성한 직후의 이야기다. 화면은 마음에 들었다. 그런데 검토를 맡기자 예쁜 것보다 훨씬 무서운 문제가 나왔다.

만든 AI에게 검토를 맡기지 않았다

첫 버전은 Claude와 대화하며 만들었다. 검토는 그 대화에 맡기지 않고, 만드는 과정에 끼지 않은 따로 떨어진 검토 담당에게 맡겼다. 만든 쪽은 자기가 만든 것의 빈틈을 놓치기 쉽다. 2편에서 조사하는 AI와 확인하는 AI를 나눴던 것과 같은 이유다.

검토한 쪽	맡긴 것
비판가 AI	코드와 보안. 무엇이 위험한지, 얼마나 위험한지
Gemini	화면 디자인. 무엇이 불편하고 무엇이 헷갈리는지

비판가 AI는 위험도를 매겨서 돌려줬다. 그중 “높음”이 세 가지였다.

높음 하나: 업무 기록이 매일 자동으로 나가고 있었다

가장 무서운 건 업무일지와 주간 회고 기능이었다. 1편에서 소개한 대로, AI 사무실은 직원들의 상태 변화를 기록해서 하루 일지를 만들고, 매주 고문 AI가 고칠 점을 하나 제안한다.

문제는 그 방식이었다. 첫 버전은 정해진 시각이 되면 기록을 외부 AI에게 자동으로 보내 요약을 받게 되어 있었다. 일지 요약은 Codex(OpenAI)가, 주간 회고는 Gemini(Google)가 썼다. 그 기록에는 어느 폴더에서 어떤 업무를 했는지, 내가 AI에게 어떤 지시를 했는지가 그대로 들어 있다.

고치기 전 업무일지 화면. 왼쪽 안내에 “18시에 자동으로 정리합니다. 요약은 Codex가 씁니다”가 보인다. 일지 속 업무 내용은 가렸다.

고치기 전 주간 회고 화면. “매주 월요일 9시, 고문 AI(Gemini)가 지난 7일 기록을 보고”라는 안내가 보인다.

회사 PC에서 매일 켜 두는 프로그램이 내가 버튼 한 번 누르지 않아도 업무 기록을 회사 밖 AI로 보내는 구조였던 것이다. 화면이 귀여워서 그런 일이 일어나고 있다는 게 전혀 느껴지지 않았다.

고친 방법은 이렇다.

고치기 전	고친 뒤
정해진 시각에 자동으로 외부 AI에 보낸다	자동 요약을 끈다
사람이 모르는 사이에 나간다	버튼을 누르고, 확인 창에서 한 번 더 확인할 때만 보낸다
기록과 접속 열쇠(토큰)가 OneDrive 폴더 안에 있다	기록과 토큰을 OneDrive 밖으로 옮긴다

OneDrive 안에 두면 클라우드로 동기화된다. 업무 기록과 AI 접속 열쇠까지 PC 밖으로 나갈 수 있으니, 이것도 함께 옮겼다.

높음 둘: 답장을 쓰는 사이 질문이 바뀌면

결재 대기함에는 AI의 질문에 바로 답하는 빠른 답장 칸이 있다. 비판가가 짚은 건 시간차였다. 내가 답장을 쓰는 동안 AI가 다음 질문으로 넘어가면, 내 답은 엉뚱한 질문에 들어간다. “예”라고 답했는데 그게 전혀 다른 일의 허락이 될 수도 있다.

그래서 보내기 직전에 그 질문이 아직 그대로인지 확인하고, 바뀌었으면 보내지 않게 막았다.

높음 셋: 기다리는데 대기함에 안 뜨는 직원

1편에서 말했듯 AI 사무실은 AI가 보내는 신호를 읽어 직원의 상태를 정한다. 그런데 쓰는 AI 가운데 하나(AGY)는 그 신호를 보내지 않았다. 내 대답을 기다리고 있어도 결재 대기함에 뜨지 않는 직원이 생기는 것이다.

이건 완전히 고치지 못했다. 터미널 화면에 보이는 글자로 “기다리는 중”을 추정하게 했고, 추정이라 놓칠 수 있다는 한계로 남겨 두었다. 못 고친 것을 못 고쳤다고 적어 두는 것도 검토의 일부다.

그 밖에 고친 것

찾은 문제	왜 위험한가	고친 방법
서버가 꺼져도 화면이 평온해 보인다	다들 쉬는 줄 알고 결재를 놓친다	서버와 연결이 끊기면 화면 위에 빨간 줄을 띄운다
날짜 칸에 파일 경로를 넣으면 다른 파일이 읽힌다	PC 안의 아무 파일이나 화면에 나올 수 있다	그런 값은 받지 않게 막았다
다른 작업에서 휴대전화 시험용으로 띄운 서버가 남아 있었다	같은 와이파이의 다른 기기에서도 열린다	그 서버를 끄게 했다. 회사 망에서는 특히 조심할 부분이다

확인 창은 줄여도, 이것만은 남겼다

나중에 매일 쓰면서 확인 창을 많이 없앴다. AI에게 지시를 보낼 때마다 “보낼까요?”를 묻는 게 번거로웠기 때문이다. 지금은 지시를 보내면 확인 창 없이 “보냈어요” 표시만 잠깐 뜬다.

그래도 기록을 외부 AI로 보내는 버튼(일지 요약, 주간 회고)의 확인 창은 그대로 두었다. 편하게 만드는 것과 지켜야 할 것을 지키는 것은 다른 문제다. 내 PC 안에서 끝나는 일은 빠르게, 회사 밖으로 나가는 일은 한 번 더 묻게.

귀여운 화면이 위험을 가린다. 그래서 회사에서 쓰는 AI 도구는 화면보다 데이터가 어디로 가는지를 먼저 본다.

회사 PC에서 AI 도구를 쓸 때 확인할 것

확인할 것	어떻게 보나
자동으로 외부에 보내는 기능이 있는가	정해진 시각에 요약·분석·백업을 하는 기능을 찾는다
보낼 때 사람이 확인하는가	버튼과 확인 단계 없이 나가는 것이 있으면 끈다
기록과 접속 열쇠는 어디에 저장되는가	클라우드 동기화 폴더 안이면 밖으로 옮긴다
내 PC 밖에서 열리는 화면이 있는가	시험용으로 띄운 서버를 다 쓰면 끈다
만든 쪽이 아닌 눈으로 검토했는가	다른 AI나 동료에게 위험한 점을 찾아 달라고 한다

3편 체크리스트

• 쓰는 AI 도구에 정해진 시각에 자동으로 실행되는 기능이 있는지 확인하기
• 업무 기록을 외부로 보내는 기능은 버튼과 확인 단계를 거치게 하기
• 기록·토큰 파일이 클라우드 동기화 폴더 안에 있는지 보기
• 시험용으로 띄운 서버와 화면은 다 쓰면 끄기
• 만든 AI가 아닌 다른 AI에게 위험한 점을 찾게 하기
• 못 고친 한계는 못 고쳤다고 적어 두기

다음 이야기, 그리고 질문 하나

위험을 막고 나니 이제 화면이 눈에 들어왔다. 첫 화면을 보고 처음 한 말은 “사무실이 너무 좁은데”였다. 그날 하루에만 디자인을 다섯 번 갈아엎었다. 그 이야기는 4편 하루에 다섯 번 갈아엎은 디자인에서 이어진다.

마지막으로 묻고 싶다. 지금 회사 PC에서 쓰는 AI 도구 가운데, 내가 버튼을 누르지 않아도 무언가를 밖으로 보내는 것이 있는가.

— 다섯시 퇴근 AI

---

이 글은 필자가 2026년 10월 실제로 만든 개인용 프로그램의 기록이다. 화면 사진 속 업무 내용은 가렸다. 회사에서 AI 도구를 쓸 때는 반드시 소속 회사의 보안 규정과 AI 사용 지침을 따르길 바란다.