AI 교육 효과, 딱 한 달 가고 사라졌다 — 프롬프트 71만 건의 기록

공식 AI 교육은 효과가 있었습니다 — 딱 한 달 동안만요. [사실] KPMG 직원들의 프롬프트 713,564건을 분석한 새 현장 연구에서, 공식 생성형 AI 교육을 이수한 달에는 직원들의 프롬프트 활용 수준이 올라갔지만, 그 다음 달부터는 원래 수준으로 되돌아갔습니다. 8개월간 매일 쓸 수 있게 해줘도 나아지지 않았습니다. "직원들이 쓰다 보면 알아서 AI를 익히겠지"라는 계획이 실제로 어떻게 굴러가고 있는지 보여주는, 지금까지 나온 것 중 가장 상세한 증거입니다. 결론부터 말하면, 잘 안 굴러가고 있습니다.

회사의 실제 프롬프트 로그를 들여다본 드문 연구

직장 내 AI 사용에 대해 우리가 아는 것 대부분은 설문에서 나옵니다 — 사람들이 "나는 이렇게 쓰는 것 같다"고 답한 내용이죠. Nicholas Hallman, Zachary Kowaleski, Anu Puvvada, Jaime Schmidt가 쓴 새 워킹페이퍼(arXiv 2608.27364, 2026년 8월 27일 공개)는 훨씬 드문 재료로 작업했습니다. 바로 원본 로그입니다. [사실] 저자들은 KPMG LLP 백오피스 직원 3,925명이 2025년 8개월 동안 15개 기능 부서에서 남긴 프롬프트 713,564건과 LLM 응답을 분석했습니다.

[사실] 로그 데이터 자체가 설문 기록을 교정합니다. 직원-월 기준 83.9%에서 생성형 AI 도구를 하나 이상 사용했는데, 비슷한 직군을 대상으로 한 기존 설문 추정치는 32.1% 수준이었습니다. [추정] 직원이 보고하는 것과 로그가 보여주는 것 사이에 약 2.6배 차이가 있다는 뜻입니다 — 이건 논문이 아니라 저희가 계산한 수치입니다. 직장 AI에 대해 다른 무엇이 사실이든, 자기보고식 조사는 실제 사용을 크게 과소집계하고 있는 것으로 보입니다.

이 논문의 핵심 질문은 "쓰느냐"가 아니라 "얼마나 잘 쓰느냐"입니다. 저자들은 활용 정교함(sophistication)을 "도구가 어떻게 작동하고 어디에 적용할 수 있는지 이해한 상태에서의 숙련된 사용"으로 정의하고, 세 가지로 측정했습니다. 프롬프트 명확성(구체성·제약 조건·완료 기준 등 9개 항목), 의도적 전략 사용(역할 부여, 예시 제시, 모델에게 스스로 검증시키기 같은 기법), 그리고 활용 사례의 다양성입니다. [사실] LLM이 보정된 평가 기준에 따라 158,496건의 대화 전체를 채점했습니다.

이긴 쪽은 연차였다

직장 AI를 둘러싼 가장 큰 목소리는 주니어가 유리하다는 서사입니다. 이 도구들과 함께 자란 세대이고, AI가 경력의 가치를 평평하게 만들 거라는 이야기죠. 이 데이터는 정반대를 말합니다.

[사실] 세 가지 정교함 지표 모두 직급이 올라갈수록 단조롭게 상승했습니다 — 실무 직급은 표본 평균 아래, 매니저 위 직급은 평균 위에 있었고, 세 지표 전부에서 그랬습니다. 저자들은 이를 위임 능력과 도메인 전문성으로 설명합니다. AI에게 무엇을 시켜야 할지 아는 능력은, 결국 주니어 동료에게 무엇을 시켜야 할지 아는 능력과 거의 같은 기술이라는 겁니다.

[주장] 이제 이건 일회성 결과가 아니라 패턴입니다. 8월에 저희가 다룬 Anthropic의 40만 세션 에이전틱 코딩 연구도 전혀 다른 환경에서 같은 모양을 발견했습니다. 숙련된 사용자가 똑같은 도구에서 훨씬 많은 것을 뽑아냈고, 특히 일이 꼬였을 때 그랬습니다. 전문서비스 회사 백오피스와 소프트웨어 작업이라는 독립된 두 데이터셋이, 전문성은 AI에 지워지는 게 아니라 AI와 곱해진다는 같은 결론을 내고 있습니다.

정교한 활용이 사는 곳, 살지 않는 곳

부서별 차이는 뚜렷했습니다. [사실] 전략(프롬프트 명확성 기준 표준편차 +0.30), 디지털 혁신(+0.30), 프로젝트 관리 부서가 회사 전체를 이끌었습니다. 반대쪽 끝에는 −0.31의 회계·재무 부서가 있었는데, 논문이 보고한 모든 사용 지표에서 표본 평균 아래에 있던 유일한 부서였습니다.

이 마지막 결과는 누구의 로그인지 떠올리면 더 아프게 다가옵니다. [주장] KPMG는 회계법인입니다. 회계가 브랜드인 회사의 백오피스에서조차, 회계 부서가 생성형 AI를 가장 적게, 가장 덜 능숙하게 썼습니다. 저자들의 설명은 재능이 아니라 업무 구조에 있습니다. 독립형 채팅창은 전략 문서나 변화 계획처럼 열려 있고 반복적인 작업에는 맞지만, 스프레드시트 중심의 촘촘하게 절차화된 업무 흐름에는 잘 맞지 않는다는 겁니다.

아무도 계획하지 않았던 정체 구간

"AI 역량 강화"에 예산을 배정하는 사람이라면 걱정해야 할 대목이 여기입니다.

[사실] 8개월의 관찰 기간 동안 활용 정교함은 개선되지 않았습니다. 월별 평균은 내내 표본 평균 근처를 맴돌았습니다 — 학습 곡선도 없었고, 수백 건의 프롬프트 경험이 쌓이는 동안 위로 올라가는 흐름도 없었습니다.

공식 교육은 잠깐은 나아 보였습니다. [사실] 직원이 회사의 생성형 AI 교육을 이수한 그 달에는 세 지표 모두 상승했고, 효과는 1% 수준에서 통계적으로 0과 구분됐습니다. [사실] 그런데 그 이후 달에는 계수가 사실상 0으로 떨어졌고, 그중 하나(의도적 전략 사용)는 오히려 음수로 돌아섰습니다. 저자들의 판정은 이렇습니다. "이 교육들과 연관된 개선은 일시적이다."

[추정] 이 계수들을 나란히 놓고 보면 — 같은 달의 뚜렷한 상승, 그 뒤로는 0이거나 살짝 음수인 추정치 — "교육 효과가 서서히 옅어진다"보다 훨씬 냉정한 결론이 나옵니다. 측정 가능한 이득 전부가 교육받은 바로 그 달 안에 갇혀 있다는 것. 이 표현은 저자들의 문장이 아니라 저희가 숫자를 읽은 방식입니다.

연습으로도 안 늘었습니다. 교육도 남지 않았습니다.

[주장] 왜 그런지는 연차·부서 결과가 힌트를 줍니다. 정교함은 도구 사용법 교육이 아니라 일 그 자체 — 사람들이 일에 가져오는 판단력과 위임 습관 — 를 따라갑니다. 그렇다면 AI 생산성 향상의 진짜 병목은 접근권도, 심지어 활용 지식도 아니고, 사람들이 실제로 일하는 방식을 바꾸는 일이라는 뜻이 됩니다. 그리고 그것은 어느 조직에서든 가장 느리게 바뀌는 것입니다.

4천 명이 AI로 하루 종일 실제로 하는 일

활용 사례 분포는 그 자체로 AI 과장 담론에 대한 현실 점검입니다. [사실] 글쓰기·커뮤니케이션이 대화의 73.3%를 차지했습니다. 다음이 지식 검색 23.0%, 텍스트 분석 10.7%, 소프트웨어·도구 사용법 9.9%, 코딩·데이터 분석 7.3%, 아이디어 발상은 겨우 1.8%였습니다(한 대화가 여러 범주에 걸칠 수 있어 합계는 100%를 넘습니다).

[추정] 이 백오피스에서 글쓰기는 코딩보다 대략 10배 많습니다 — 저희 계산입니다. 그리고 글쓰기 안에서도 기존 글 수정(45.8%)이 새 글 작성(34.8%)을 앞섰습니다. [주장] AI를 자율적인 저자처럼 말하는 담론이 무성하지만, 실제 회사 안에서 가장 흔한 용도는 사람이 쓴 초안을 손보는 아주 빠른 교정자에 가깝습니다.

이게 당신의 직업이라면

행정 보조원, 회계사, 재무 분석가에게 부서별 결과는 양방향의 경고입니다. 지금 재무 부서의 활용 정교함이 낮다는 것은 AI가 이 일과 무관하다는 뜻이 아닙니다 — 채팅창 모양의 현재 도구가 업무 흐름에 안 맞는다는 뜻입니다. AI가 채팅창 옆이 아니라 스프레드시트와 ERP 시스템 안에 내장되어 도착하면, 이 격차는 갑자기 닫힐 수 있습니다.

프로젝트 관리자와 경영 분석가에게는 더 가깝고 더 나은 소식입니다. 열려 있고 반복적인 그 업무의 모양 자체가 정교한 활용이 이미 몰려 있는 곳이고, 연차 프리미엄이 가장 뚜렷하게 나타나는 곳이기도 합니다.

프롬프트 엔지니어링 강의를 들을지 고민 중인 분에게는 이렇게 말할 수 있습니다. 이 연구가 "강의는 쓸모없다"를 증명하지는 못합니다 — 측정한 것은 한 회사의 사내 교육이지 세상 모든 교육 형태가 아니니까요. [주장] 하지만 일상 업무 방식의 변화가 따라오지 않는 일회성 교육은 지속되는 행동 변화를 만들지 못한다는 직접 증거이긴 합니다. "AI를 배운다"는 게 무엇이든, 그것은 강의보다는 업무 습관에 가까워 보입니다.

말해둘 한계들

이 연구는 기술적(descriptive) 설계이지 인과 추론이 아닙니다 — 저자들이 스스로 분명히 밝힙니다. 정교한 프롬프트가 더 나은 결과물이나 생산성 향상으로 이어졌는지는 이 데이터로 알 수 없습니다. 여기서 정교함은 숙련된 사용의 대리 지표이지 측정된 성과가 아닙니다. 한 회사, 한 백오피스이며, 8개월의 관찰 창은 2025년에 닫혔습니다 — 그사이 모델과 프롬프트 관행이 이동했고, 저자들도 보고된 행동 양상이 현재 관행과 "이미 다를 수 있다"고 적었습니다. [주장] 연차에 따른 격차 역시 숙련도만이 아니라 직급별로 맡는 일의 성격이 일부 반영됐을 수 있습니다. 다만 이 단서들 중 어느 것도 핵심 결과를 건드리지는 않습니다. 이 관찰 기간 안에서는, 시간도 교육도 활용 수준을 끌어올리지 못했습니다.

Sources

• Hallman, N. J., Kowaleski, Z. T., Puvvada, A., & Schmidt, J. J. (2026). Sophistication in GenAI Use: Field Evidence from a Large Firm. arXiv:2608.27364. 워킹페이퍼, 동료심사 전. https://arxiv.org/abs/2608.27364 — CC BY-NC-ND 4.0 라이선스. 본 기사는 도표·그림을 재현하지 않고 출처를 밝혀 발견 내용만 서술식으로 보도합니다.

AI 지원 분석: 이 글은 AI의 도움을 받아 작성되었으며 게시 전 사람 편집자의 검토를 거쳤습니다. 모든 수치는 위 1차 출처와 대조해 검증했습니다.