당신의 자격증은 유통기한이 1년입니다. 범인은 AI가 아니었습니다.

14개월 전에 딴 자격증은, 지금 당신이 무엇을 할 수 있는지 예측하는 데 거의 아무것도 보태지 않습니다. AI 얘기가 아닙니다. 캐글(Kaggle) 참가 기록 444,698건이 보여준 결과이고, 그 관측 구간은 ChatGPT가 나오기 6년 전부터 시작합니다.

출처는 2026년 8월 17일 arXiv에 올라온 Song Yao의 프리프린트 「Stranded credentials: how a skill-signaling market absorbed generative AI」입니다. [사실] 아직 동료심사를 거치지 않았고, 그 점이 이 결과를 얼마나 믿어야 하는지에 어떤 의미인지는 뒤에서 다시 짚겠습니다. 다만 이 논문은 규모도 크고 기간도 충분히 긴 "역량 신호 시장"을 통째로 감사한 첫 사례입니다. 덕분에 AI와 자격증 논의에서 거의 항상 뒤섞여버리는 두 가지를 갈라낼 수 있습니다. AI가 신호를 망가뜨렸는가, 아니면 그 신호는 원래부터 상하고 있었는가.

답은 대체로 후자였습니다.

82%라는 숫자, 그리고 그 안에 놓인 함정

무서운 게시물 하나 쓰기 딱 좋은 헤드라인부터 보겠습니다. 캐글은 두 가지 대회 형식을 나란히 운영했습니다. 업로드 대회(upload-competition)는 이미 공개된 데이터로 참가자가 계산해 제출한 예측값을 채점합니다. 코드 대회(code-competition)는 참가자가 낸 코드를 참가자가 볼 수 없는 숨겨진 데이터 위에서 실행해 채점합니다. 이 중 업로드 대회에서 딴 메달 스톡은 정보량의 82%를 잃었습니다. 즉 메달 보유자가 나중에 얼마나 잘할지 예측하는 힘의 82%가 사라졌다는 뜻입니다. [사실]

이 숫자만 보면 이야기가 저절로 써집니다. 생성형 AI가 그럴듯한 예측 파일을 만들어낼 수 있으니, 예측 파일을 채점하던 형식은 의미를 잃었다는 것이죠.

그런데 그 이야기는 틀렸고, 그걸 무너뜨리는 건 다름 아닌 논문 자신의 데이터입니다. 82% 손실 중 절반에서 4분의 3은 저자가 "제도적 좌초(institutional stranding)"라고 부르는 요인으로 설명됩니다. [사실] 업로드 대회는 생성형 AI가 등장하기 이전의 이유로 이미 캐글에서 퇴장한 상태였습니다. 형식이 사라지자 새 업로드 메달을 딸 방법 자체가 없어졌고, 남아 있던 메달 스톡은 그냥 나이를 먹었습니다. 그것도 AI 이전부터 이미 관측되던 바로 그 감가 패턴을 따라서요.

논문 초록이 암시만 하고 계산해두지 않은 산수를 직접 해보겠습니다. 제도적 좌초가 손실의 50-75%를 설명한다면, 나머지 25-50%가 AI든 기술 구성 변화든 그 외 무엇이든 전부를 합친 몫입니다. 전체 82%에 대입하면, 비(非)제도적 원인 전부를 합쳐도 약 21-41%포인트 정도의 정보량 손실이 남습니다. [추정] 무서운 숫자와 AI에 귀속되는 숫자는 같은 숫자가 아닙니다. 비슷하지도 않습니다.

자격은 원래 상하는 물건이었다

정작 당신의 이력을 보는 방식을 바꿔야 할 결과는 따로 있습니다. 두 형식 모두에서, 메달은 획득 후 첫 1년 안에 이후 성과를 거의 전부 예측했습니다. [사실] "대체로"가 아니라 "거의 전부"입니다.

이건 유통기한입니다. 그리고 AI 이전부터 있었습니다.

여기서 논문에서 가장 조용하면서도 가장 뼈아픈 발견이 나옵니다. 캐글의 공식 등급 체계 — 그랜드마스터, 마스터 등 — 는 평생 누적 메달 수로 만들어집니다. 그런데 가치가 12개월 만에 무너지는 신호를 요약하는 방법으로 평생 누적 합계는 거의 최악입니다. 2015년에 딴 메달과 지난 분기에 딴 메달에 같은 가중치를 주니까요. 감사 결과는 그 낭비에 숫자를 붙였습니다. 공식 등급은 바탕 메달이 실제로 담고 있는 정보의 13-16%를 버립니다. [사실] 반면 최근 메달에 더 큰 가중치를 주기만 한 지수를 — 그것도 AI 이전 시기 데이터만으로 만든 지수를 — 썼더니, AI 시대 성과 예측에서 공식 등급을 앞질렀습니다. [사실]

해법은 격변이 오기 전에 이미 손에 있었습니다. 아무도 적용하지 않았을 뿐입니다.

AI가 범인이 아니라는 증거

논문에서 가장 깔끔한 검정은 두 형식이 나란히 존재했기에 가능했던 비교입니다. 만약 생성형 AI가 사람들에게 실력을 위장할 여지를 줘서 자격의 의미를 갉아먹고 있었다면, 좋은 예측 파일로 뚫릴 수 있는 형식과 그렇지 않은 형식에서 "AI스러운 작업 방식"의 효과가 달라야 합니다. 그런데 달라지지 않았습니다. AI스러운 작업 방식은 두 형식에서 비슷하게 성과를 예측했습니다. [사실] 저자가 측정한 변화는 개인적인 것이 아니라 제도적인 것입니다. 누가 어떤 도구를 썼느냐가 아니라, 어느 무대가 계속 열려 있었느냐의 문제였습니다.

두 번째로, 좀 더 미묘한 교정이 하나 더 있습니다. 오래된 업로드 대회 메달은 따로 떼어놓고 보면 오히려 더 가치 있어 보입니다. 실제로는 아닙니다. 그 메달은 보유자의 나머지 이력 — 대개는 경력 — 을 대리하고 있을 뿐입니다. [사실] 그 부분을 걷어내면 겉보기 가치도 같이 사라집니다. 오래 잠들어 있던 자격을 진공 상태에서 평가하는 사람은, 경력을 읽고 그것을 실력이라고 부르고 있는 셈입니다.

데이터로 먹고산다면 무슨 뜻인가

이 증거에 가장 가까운 직업들을 보면, 우리 트래커 기준 2026년 데이터 과학자의 AI 노출도는 70%, 자동화 위험은 43%입니다. 머신러닝 엔지니어는 노출도 73%, 위험 45%입니다. [추정] 노출도는 높고 대체 위험은 중간 — 논문이 묘사하는 바로 그 유형입니다. 일이 사라지는 게 아니라 형태가 바뀌고 있고, 신호의 문제란 결국 "바뀐 형태의 일도 여전히 할 수 있다"는 걸 증명하는 문제입니다.

여기서 세 가지가 따라 나옵니다.

쌓지 말고 갱신하세요. 자격의 예측력이 첫 1년에 몰려 있다면, "자격증을 모아서 평생 이력서에 적어둔다"는 전략은 만기가 있는 자산을 사놓고 상각을 한 번도 하지 않는 것과 같습니다. 최근에 한 검증 가능한 작업 하나가 오래된 것 네 개보다 낫습니다.

시험 데이터를 감추는 형식을 고르세요. 코드 대회는 버텼습니다. 이 원리는 캐글 바깥에도 적용됩니다. 공개 데이터셋으로 하는 과제 제출물보다, 미리 준비하지 않은 입력을 놓고 현장에서 푸는 쪽이 증명력이 큽니다. 채용 담당자 앞에 무엇을 놓을지 고를 수 있다면, 미리 준비해둘 수 없었던 것을 고르세요.

좌초한 무대를 경계하세요. 이 메달 보유자들에게 가장 큰 타격을 준 건 AI가 아니었습니다. 그들이 평판을 쌓은 방이 문을 닫았다는 사실이었습니다. 당신이 투자한 플랫폼이나 커뮤니티, 자격 발급 기관이 사라지면 당신의 기록은 그 자리에서 얼어붙고 곧바로 나이를 먹기 시작합니다. 문 닫던 날 얼마나 훌륭했든 상관없이요.

이 증거가 멈추는 지점

한계는 분명하고, 묻어두기보다 말해두는 편이 낫겠습니다. 이 연구가 잰 것은 자격이 같은 플랫폼 안에서의 이후 성과를 얼마나 잘 예측하는가입니다. 리더보드 성적이지 연봉이나 합격 통보, 승진이 아닙니다. 캐글 참가자는 데이터로 일하는 사람들의 무작위 표본도 아닙니다. 그리고 이건 프리프린트입니다. 2026년 8월 17일 arXiv 게재, 동료심사 미통과 — 식별 전략을 외부 심사자가 검증한 적이 없다는 뜻입니다. 1년 감가나 82%라는 수치는 정밀 검토 과정에서 충분히 움직일 수 있는 종류의 결과입니다.

가장 흔한 반론은 "캐글은 게임이고 게임은 직업이 아니다"일 겁니다. 타당합니다. 다만 이 게임에는 444,698건의 기록된 시도와 시점이 찍힌 결과, 그리고 나란히 돌아간 두 개의 채점 체계가 있습니다. 웬만한 전문 자격 제도가 스스로에 대해 한 번도 만들어본 적 없는 수준의 자기 측정입니다. 대부분의 자격 발급 기관은 자기 자격증이 무엇이든 예측하기는 하는지조차 답하지 못합니다.

불편한 대목이자 동시에 희망적인 대목이 여기 있습니다. 결론은 AI가 자격을 망가뜨렸다는 것이 아닙니다. 자격은 아무도 보고 있지 않던 시계에 맞춰 감가되고 있었고, 그것을 발급하는 기관들은 AI가 등장하기도 전에 자기 신호의 13-16%를 버리고 있었다는 것입니다. 눈에 보이는 감가는 대비할 수 있는 감가입니다. 최근 것을 쌓고, 미리 조리해둘 수 없는 형식으로 증명하고, 그 방이 5년 뒤에도 열려 있으리라고 가정하지 마세요.

출처

• Song Yao, 「Stranded credentials: how a skill-signaling market absorbed generative AI」, arXiv:2608.17111 (econ.GN; cs.CY), 2026년 8월 17일 제출. https://arxiv.org/abs/2608.17111 — 프리프린트, 동료심사 미통과.
• 개별 직업의 2026년 AI 노출도·자동화 위험 수치는 AI Changing Work 모델 추정치이며 위 논문에서 온 값이 아닙니다.

AI 지원 분석: 이 글은 위 1차 자료를 바탕으로 AI의 도움을 받아 작성했고, 발행 전 검토를 거쳤습니다. arXiv 프리프린트에 귀속된 모든 수치는 게재된 초록 원문과 대조 확인했습니다.