같은 채용 검사, 세 개의 AI 모델: 각자 자기 회사만 예측한다

한 고용주의 자사 직원 데이터로 훈련한 채용 모델은 90일을 넘겨 남는 신입을 떠나는 신입보다 위에 두는 비율이 85.5~91.4%다. 같은 모델을 다음 고용주의 신입에게 적용하면 이 수치는 47.3~51.4%, 동전 던지기 범위로 떨어진다. [사실] 검사는 같았다. 세 고용주가 달랐다.

논문은 하버드 경영대학원의 Hossein Alidaee·Tarun Khanna·Rembrand Koning이 쓴 「Learning about Markets from Models: Evidence from an AI Hiring Platform」로, 2026년 10월 31일 arXiv에 게재됐다(arXiv:2611.01226, 판본 날짜 11월 3일). [사실] 저자들은 HBS AI Institute의 연구비 지원을 밝히고 있다. [사실]

검사 하나, 고용주 셋, 지원서 172,242건

이 플랫폼은 멕시코의 대형 공식 부문 고용주를 고객으로 두며, 이들은 창고·배송·소매 직무를 채용한다. 지원자는 WhatsApp 챗봇으로 42문항 검사에 답한다. 업무 몰입, 정서 조절, 규칙 준수, 윤리, 협업, 성실성, 작업 안전 등 7개 특성마다 리커트 척도 6문항씩이다. [사실] A사는 창고부터 라스트마일 배송까지 물류 전반을 채용하는 다국적 소비재 기업이다. B사는 소매 직무를 채용하는 다국적 커피 체인이다. C사는 국제 의류 소매 체인이다. [사실]

각 사의 랜덤 포레스트 모델은 90일 결과가 관측된 자사 채용자, 합계 8,119명으로 훈련됐고, 이어 2020~2025년 플랫폼으로 접수된 지원서 172,242건에 점수를 매겼다. 훈련에 쓰인 채용자의 90일 잔존율은 A사 35.8%, B사 66.1%, C사 41.2%였다. 성별·연령·학력은 플랫폼 모델에도 저자 모델에도 들어가지 않는다. [사실]

모델들이 갈리는 지점

자사 안에서 각 모델의 AUC는 0.855, 0.891, 0.914다. 다른 회사의 채용자에게 적용하면 여섯 개의 전이 AUC는 0.473~0.514 사이에 놓인다. 여섯 개 신뢰구간 중 다섯 개가 0.50을 포함하고, 나머지 하나는 우연 수준 아래에 있다. 한 회사 모델이 매긴 지원서의 백분위 순위는 다른 회사 모델의 순위와 상관이 없다. [사실]

모든 지원서를 세 모델로 다 점수화할 수 있으므로, 저자들은 지원자가 실제로 지원한 회사보다 가장 잘 맞는 회사에서 예측 잔존율이 얼마나 높아지는지 측정한다. 평균 격차는 21.8%포인트다. 지원서의 46.7%는 격차가 20포인트를 넘고, 23.3%는 40포인트를 넘는다. [사실] 특성 평균 점수 상위 5분위 지원자의 격차는 26.9포인트, 하위 5분위는 16.4포인트다. [사실] 이 격차의 일부는 B사가 누구든 더 많이 붙들어 둔다는 단순한 사실에서 온다. 저자들이 세 모델의 기준 잔존율을 같게 맞추면 평균 격차는 15.1포인트로 내려가고, 상위 5분위의 격차는 7포인트, 하위 5분위의 격차는 2.2포인트 줄어든다. [사실]

어떤 특성이 중요한지에 대해서는 모델들이 부분적으로 일치한다. 협업은 세 회사 모두에서 예측 잔존율에 대한 평균 기여도가 가장 크고, 성실성은 가장 작은 쪽에 속한다. [사실] 특성 효과의 방향에서는 갈린다. 통계적으로 유의한 한계효과를 가진 특성 가운데, 한 회사에서 예측 잔존율을 올리는 특성이 다른 회사에서는 낮춘다. 중간 5분위에서 정서 조절 점수가 높아지면 두 회사에서는 예측 잔존율이 오르고 세 번째 회사에서는 내려가며, 최상위·최하위 5분위에서는 어느 회사에서도 유의한 효과가 없다. [사실]

당신의 직업에 의미하는 것

표본의 직무는 이 사이트가 수작업 하물·자재 운반원, 소형 트럭 운전사, 재고 담당·주문 처리원, 소매 판매원, 패스트푸드·카운터 종사자로 분류하는 직업들이다. 한 고용주의 AI 심사에서 받은 낮은 점수는 다음 고용주의 심사에 대해 아무 정보도 주지 않는다. 두 고용주가 같은 업체에서 같은 검사를 샀을 때도 그렇다. [사실] 저자들은 저숙련으로 분류되는 직무에서도 기업마다 선호하는 특성 조합이 다르며, 지원자를 다른 회사로 돌렸을 때의 이득은 특성 점수가 가장 높은 지원자에게서 가장 크다고 주장한다. [주장]

무엇을 준비할 것인가

불합격을 자기 프로필에 대한 판결로 받아들이지 말고 같은 업종의 여러 고용주에 지원하라. 이 데이터에서는 같은 답변이 회사마다 다른 순위를 받았다. 검사에는 자기 자신으로 답하라. 모델은 회사마다 다른 특성 패턴에 보상하므로 흉내 낼 단일 프로필은 없다. 정책 담당자에 대한 저자들의 해석은, 구직·배치 지원은 고득점 지원자에게 가장 효과가 크고 훈련 프로그램은 다른 구간을 다룬다는 것이다. [주장]

한계

이 연구는 한 나라, 한 플랫폼의 익명 고용주 세 곳을 다루며, 회사 간 점수는 실제로 회사를 옮긴 노동자의 관측 결과가 아니라 모델 예측이다. 저자들도 이를 직접 밝힌다. 동료심사를 거치지 않은 워킹페이퍼이고, 데이터는 저자들이 연구하는 플랫폼에서 나왔다.

출처

• Alidaee, H., Khanna, T., Koning, R., "Learning about Markets from Models: Evidence from an AI Hiring Platform," arXiv:2611.01226, 워킹페이퍼, 2026년 10월 31일: https://arxiv.org/abs/2611.01226

이 분석에 대하여

이 글은 arXiv PDF 전문(68쪽)을 바탕으로 AI의 도움을 받아 작성했다. 직업 링크는 이 사이트의 직업 페이지를 가리키며, 논문의 직무 설명을 해당 페이지에 대응시킨 것은 우리의 판단이다.