7만 명 실험: AI 음성 면접이 사람 리크루터를 이겼다

필리핀 콜센터 채용 대행사의 리크루터들에게 물었습니다. "AI 음성 에이전트가 당신 대신 면접을 보면 어떻게 될까요?" 지원자가 더 많은 오퍼를 받을 거라고 답한 사람은 15%뿐이었어요. 그다음 70,884명의 지원자를 사람 또는 AI에게 무작위로 배정했더니, 기계와 면접한 지원자가 오퍼를 받을 확률은 12% 높았고, 실제 입사 확률은 18% 높았으며, 4개월 뒤에도 남아 있을 확률은 비슷하거나 더 높았습니다. 리크루터들은 방향부터 틀렸습니다. 이 글은 왜 그랬는지, 그리고 이 결과가 말하지 않는 것은 무엇인지에 관한 이야기입니다.

무엇을, 누가 실험했나

[사실] 논문 제목은 "Voice AI in Firms: A Natural Field Experiment on Automated Job Interviews"이고, 저자는 브라이언 자바리안(카네기멜런대)과 루카 헨켈(에라스무스 로테르담대)입니다. 제가 읽은 판은 2026년 9월 11일 arXiv에 올라온 v2로, 본문 날짜는 9월 10일입니다. 동료심사를 거친 출판물이 아니라 프리프린트입니다. 실험은 AEA RCT 레지스트리에 사전등록됐고 시카고대 IRB 승인을 받았습니다.

[사실] 무대는 텔레퍼포먼스 자회사인 채용 아웃소싱 기업 PSG Global Solutions로, 미국·유럽 대형 고객사를 위해 필리핀에서 신입 고객서비스 상담원을 뽑는 곳입니다. 해당 일자리의 월급은 16,000~25,000페소, 저자 환산으로 약 280~435달러입니다. 1차 스크리닝을 통과한 지원자는 사람 리크루터 면접, AI 음성 에이전트 면접, 그리고 셋째 집단은 둘 중 선택으로 무작위 배정됐습니다. 면접은 대면 또는 전화로 10~20분, 두 집단 모두 같은 서면 가이드라인을 따랐습니다. 최대 14개 주제, 권장 순서, 예시 질문, 그리고 자유롭게 변형할 재량.

가장 중요한 설계 요소는 이겁니다. [사실] 모든 집단에서 채용 결정은 면접 내용과 표준화된 언어·논리 테스트를 검토한 사람 리크루터가 내렸습니다. AI는 정보를 수집했을 뿐 결정하지 않았습니다. 이 분리가 논문의 핵심이고, 헤드라인을 "AI가 리크루터를 대체한다"로 읽으면 안 되는 이유이기도 합니다.

알아둬야 할 공시가 하나 있습니다. [사실] 데이터 수집은 2025년 6월 7일에 끝났습니다. 2025년 8월 1일, 자바리안은 PSG Global Solutions의 무급 수석 이코노미스트직을 수락하며 연구 파트너십을 5년 연장했습니다. 저자들은 기업이 데이터를 제공했을 뿐 분석과 출판 결정에는 관여하지 않았다고 밝힙니다. 저는 이 공시를 액면 그대로 받아들이되, 그 기업이 이제 제1저자와 지속적 관계를 맺고 있고 이 결과에 상업적 이해가 있다는 점은 적어둡니다.

논문이 보고하는 숫자

[사실] 사람과 면접한 지원자는 8.70%가 오퍼를 받았습니다. AI 음성 에이전트와 면접한 지원자는 9.73%였습니다. 논문은 이 차이를 0.91%p(p<0.001), 그리고 12% 높은 확률로 보고합니다. [추정] 두 비율로 직접 계산하면 9.73/8.70=1.118이니 "12%"는 반올림한 상대 수치이고, 절대 격차는 지원자 100명당 약 1명입니다. 두 표현 다 맞습니다. 헤드라인이 되는 건 상대 수치뿐이죠.

[사실] 오퍼 이후 단계에서 AI 집단 지원자는 입사 확률이 18% 높았고, 2·3·4개월 뒤에도 재직 중일 확률이 각각 19%, 18%, 19% 높았습니다. [추정] 입사 이득(18%)이 오퍼 이득(12%)보다 크기 때문에, 대략 나눠보면 오퍼를 받은 조건에서 AI 면접 지원자가 실제로 출근할 확률이 약 5% 높았다는 계산이 나옵니다. 이건 공개된 두 비율로 제가 한 산수이지 논문이 보고한 수치가 아니며, 분모 차이를 무시한 것입니다.

[사실] 채용된 사람의 생산성에 대해 저자들은 처리 고객 수, 고용주 품질보증 점수 등 기업 지표 세 가지를 살폈고, 채용 방식 간 차이를 찾지 못했습니다. [사실] 지원자들은 스트레스, 편안함, 후속 질문의 매끄러움, 피드백 품질을 두 집단에서 비슷하게 평가했는데 예외가 하나 있습니다. AI 면접은 자연스러움에서 유의하게 낮은 점수를 받았습니다.

기계가 더 잘한 이유: "통제된 분산"

저자들이 제시하는 메커니즘은 AI가 더 똑똑하다는 게 아닙니다. 경직되지 않으면서도 더 일관적이라는 겁니다.

[사실] 녹취록을 이용해 각 면접이 서면 가이드라인을 얼마나 따랐는지 측정했습니다. 실제 질문과 가이드라인 질문의 평균 유사도는 AI 면접 0.59, 사람 면접 0.43이었습니다. [추정] 준수도가 약 37% 높은 셈입니다. AI는 주제 순서의 분산도 유의하게 낮았습니다. 사람도 AI도 대본을 읽진 않았습니다. 차이는 사람 리크루터가 더 많이 벗어났고, 서로 다르게 벗어났다는 점입니다.

[주장] 저자들의 논리는 이렇습니다. 기업이 같은 정보 수집 과업을 여러 사람에게 맡겨 수천 번 반복하면, 각자가 수행하는 방식의 차이가 기업이 읽으려는 신호의 잡음이 됩니다. 구조화는 잡음을 없애지만 후속 질문도 없앱니다. AI 에이전트는 구조를 지키면서 개인에게 맞출 수 있고, 녹취록을 보면 AI 면접 지원자들이 사람 면접에서도 오퍼를 예측하는 소통 신호를 더 많이 보였다는 겁니다. 증거를 그럴듯하게 읽은 해석입니다. 동시에 이건 논문의 해석이고, 무작위 배정을 벗어나면 녹취록 분석은 상관관계입니다.

지원자는 AI를 선호했다, 그게 AI가 낫다는 뜻은 아니다

[사실] 선택권이 주어진 집단에서는 78%가 AI 음성 에이전트를 골랐습니다. 표본의 설문 결과는 AI에 대한 전반적으로 긍정적인 태도를 보였고, 그 태도가 선택을 예측했습니다. [사실] 하지만 저자들은 부정적 선별도 발견합니다. AI를 고른 지원자는 사람을 고른 지원자보다 측정된 자질이 유의하게 낮았습니다. 그러니 78%는 사람들이 무엇을 원했는지를 말해줄 뿐, AI 면접으로의 자기선택이 기업의 채용 풀을 개선한다는 뜻은 아닙니다. 선택권을 주는 기업은 배정하는 기업과 다른 지원자 구성을 얻을 수 있습니다.

이 연구가 보여주지 않는 것

첫째, 모집단. 해당 산업이 150만 명 이상을 고용하는 나라의 신입·대량·영어 고객서비스 직무이고, 10~20분 구조화 면접입니다. 시니어 채용, 기술 면접, 면접관의 판단 자체가 상품인 직무에 대해선 아무것도 말하지 않습니다. "통제된 분산" 논리는 명시적으로 규모와 반복에 관한 것이라, 그 둘이 사라지면 약해집니다.

둘째, 결과 관측 창. 재직 4개월과 생산성 지표 세 가지가 지평선입니다. AI 면접으로 뽑힌 사람들이 그 뒤에 갈라지는지는 데이터에 없습니다.

셋째, "오퍼율이 올랐다"는 기업 쪽 결과입니다. 논문은 이를 더 나은 정보 수집으로 해석하고, 재직·생산성 결과가 그걸 뒷받침합니다. 하지만 12% 높은 오퍼율은 사람 평가자가 더 깔끔한 녹취록을 더 신뢰한 결과일 수도 있습니다. 지원자 자질 효과가 아니라 평가자 효과인 거죠. 저자들은 테스트 점수를 통제해도 면접 점수 효과가 살아남는다는 걸 보여 이 반론을 약화시키지만, 완전히 잠재우진 못합니다.

마지막으로, 정면으로 말해둘 반대 서사. 솔깃한 결론은 "AI가 리크루터를 노린다"입니다. 이 실험에서 모든 오퍼는 사람 리크루터가, 그것도 같은 리크루터들이 다른 누군가가 진행한 면접을 검토해 냈습니다. AI가 흡수한 건 20분짜리 스크리닝 대화이고, 그건 연간 수만 건 면접을 돌리는 기업에서 가장 먼저 넘겨질 법한 리크루터 업무입니다. 그 직무에 있다면 여기서 볼 페이지는 인사 전문가이고, 이 일자리에 면접 보는 쪽이라면 고객서비스 상담원입니다. 연구는 지원자가 이 전환에서 손해 보지 않았다고 말합니다. 그 뒤 스크리닝 리크루터의 일이 어떤 모습인지는 말하지 않습니다.

출처

• Jabarian, B. and Henkel, L. (2026), "Voice AI in Firms: A Natural Field Experiment on Automated Job Interviews," arXiv:2607.28222v2 [econ.GN], 2026년 9월 11일(본문 날짜 2026년 9월 10일). https://arxiv.org/abs/2607.28222
• 논문에 명시된 AEA RCT 레지스트리 #15385, 시카고대 IRB #IRB24-1894·#IRB25-1002.

인용은 짧게, 논평 목적으로만 사용했습니다. 이 논문은 프리프린트이며 동료심사를 거치지 않았습니다.

AI 보조 분석: 이 글은 AI의 도움을 받아 초안을 작성하고 발행 전 사람이 검토했습니다. [추정]으로 표시한 수치는 논문이 보고한 숫자로 이 사이트가 자체 계산한 것이며 저자들의 결과가 아닙니다.