AI역량 검사는 과연 합리적일까? (by 로카인양구)

얼마 전 '잡0'의 AI역량 검사를 보았다. 취업을 위해서 서류를 낸 회사 중에서 몇몇 곳이 AI역량 검사 응시를 요구했기 때문이다. 일단은 합격해야 했기에 열심히 준비했고, AI역량 검사 응시했다. 그리고 모든 곳의 AI역량 검사에 합격했다. 하지만 지울 수 있는 의구심이 남았다. AI역량 검사는 과거의 다른 역량검사 보다 합리적인가? 그리고 AI역량 검사는 정말 AI를 활용했을까? 이번 글은 이 물음에 대한 글이다. 그리고 나는 '그렇지 않다'라는 내 의견을 이 글에서 피력하고 싶다.

 

잡0의 AI역량 검사란?

잡0의 AI역량 검사에 대한 기본적인 설명을 하고 시작하겠다. 잡0의 AI역량 검사는 성향 파악, 전략 게임, 영상 면접으로 이루어져 있다. 성향 파악은 대기업들의 인성 검사와 비슷하다.

 

전략 게임은 가위바위보, 도형 회전하기, 약속 정하기, 길 만들기, 마법약 만들기, 개수 비교하기, 도형 순서 기억하기 등이 있다. 도형 회전하기와 도형 순서 기억하기는 다른 대기업의 온라인 적성평가에서도 나오는 유형이다.

 

영상 면접은 여러 질문에 대해서 답하는 것이다.

 

잡0에서는 성향 파악, 전략 게임, 영상 면접을 AI를 이용하여 분석하여, 지원자의 역량을 파악할 수 있다고 주장한다. 

 

 

잡0의 AI역량 검사에 대한 의문 2가지

나는 잡0의 AI역량 검사에 대해서 두 가지 의문점이 들었다.

 

1. AI를 어떻게 활용한다는 것인가?

2. AI역량 검사의 결과가 합리적이라고 어떻게 증명할 것인가?

 

 

의문점을 해결하기 위해서 잡0 홈페이지를 확인하다

이 의문점들을 해결하기 위해서 잡0의 홈페이지에 있는 AI역량 검사의 안내를 찾아보았다. 그런데 베너에 있는 아래와 같은 안내가 나의 의구심을 더 강하게 했다.

 

잡0의 AI역량검사 설명

 

언뜻 보아서는 멋진 설명이다. 하지만 배경지식을 잘 생각하면 그냥 딥러닝을 이용했다는 뜻이다. 이 말이 잘 이해가 안 되면 아래의  보라색 설명을 읽으면 된다. 이해가 되면 바로 넘어가자

 

'신경과학 기반 알고리즘'이라고 쓰여있다. 과연 무엇일까? 사람의 신경구조는 매우 복잡하다. 의외일 수도 있지만, 인류는 아직 인류의 뇌에 대해서 잘 이해하지 못한다. 그래서 현시점에서 - 적어도 내가 학부생이던 3년 전에는 - 신경과학 기반 알고리즘은 신경망(뉴런 네트워크) 말고는 없다. 그것도 그 원리가 이해된 것은 아니다.

 

인류가 알게 된 것은 그 뉴런 네트워크를 흉내 낸 알고리즘을 수많은 데이터로 학습시키면, 정답을 잘 맞힌다는 것이다. 그리고 그것을 나름 전문용어로 '딥러닝'이라고 한다. 즉, 신경과학 기반 알고리즘과 데이터 과학 기술을 융합한 것은 그냥 딥러닝이다.

 

딥러닝을 이용하였다고 설명하면 될 것을 왜 굳이 '신경과학 기반 알고리즘'이나 '데이터 과학 기술'이라는 거창한 말을 쓰는지 궁금했지만, 나의 의문과 관계된 것은 아니니 차치하기로 했다.

 

그래서 홈페이지의 잡0 회장님의 인터뷰 페이지에서 AI역량 검사에 대한 설명을 계속 읽어보았다. 그리고 아래와 같은 사진을 발견하였다.

 

잡0의 AI역량검사 설명 2

 

아쉽게도 이 사진은 물론, 그 페이지에서도 내 의문의 답을 찾을 수 없었다. 사실 위의 사진의 내용은 그저 멋진 말뿐이었다.

 

'Neuroscience'에는 인간의 생물학적 속성과 신경과학적 특성에서 판단과 역량체계, 성과를 창출하는 메커니즘을 분석하여 성과 창출의 핵심 역량을 도출하였다고 쓰여있다. 사실 가장 이해하기 힘든 부분이었다. 생물학과 신경과학으로 어떻게 성과를 창출하는 메커니즘을 알아냈다는 것인가? 그것에 대한 정확한 설명이 필요하다. 만약 정말 생물학과 신경과학으로 어떤 사람이 나중에 성과를 낼 사람인지 아닌지를 구별할 수 있다면 과학 3대 잡지에 대서특필될 내용일 것이다.

 

'HR Expertise'의 설명을 해석하면 그냥 과거의 다른 대기업과 같이 인성 검사를 했다는 뜻이다.

 

'Technology'에는 건설 분야 시물레이션 SW글로벌 1위라고 쓰여있다. 건설 분야 시뮬레이션 SW글로벌 1위라면 대단한 일이다. 하지만 건설 분야 시뮬레이션의 기술력과 사람에 대한 역량 평가에 대한 기술이 어떤 상관이 있는지 설명이 필요하다.

 

결국 나는 홈페이지에서 내 의문에 대한 답을 찾지 못했다. 그리고 위의 의문점에 대한 나의 생각을 아래에서 서술하겠다.

 

 

1. 역량 검사에 AI를 어떻게 활용한다는 것인가?

AI를 활용하여 사람의 역량을 검사하는 것은 매우 어려운 일이다. 기술적으로 힘든 것이 아니다. 학습시키기 위한 표본수가 너무 적기 때문이다.

 

개와 고양이를 구별하는 AI를 학습시키는 것에도 몇십만에서 몇백만 단위의 사진이 필요하다. 정답의 선택지가 딱 2개인 문제에도 그렇다.

 

사람의 역량에 대한 변수는 거의 무한에 가깝다. 그중 중요한 것만 뽑아도 몇십에서 몇백은 될 것이다. 그리고 역량의 종류도 수십 가지이다. 그래서 사람의 역량을 현재의 AI 기술로 검사하려면, 적어도 몇억의 표본은 필요할 것이다. 물론 그 결과의 합리성은 차치하더라도 말이다.

 

그래서 나는 현 단계에서 AI로 역량검사를 하는 것은힘들다고 생각한다. 검사 시행기관은 AI를 학습시키기 위한 표본수가 충분했음을 증명해줘야 한다. 몇천명 단위로 해결될 문제는 아니다.

 

이와는 별도로 사람의 표정을 AI로 인식할 수는 있다. 다만 그 표정결과를 어떻게 반영할지는 위의 문제와 같다.

 

2. AI역량 검사의 결과가 합리적이라고 어떻게 증명할 것인가?

AI역랑 검사의 합리성을 증명하는 데는 2가지 문제가 있다. 우선 AI는 이유를 설명할 수 없다. 그래서 왜 그런 결과가 나왔는지 알 수 없다.

 

두 번째는 첫 번째 의문에서 파생된 것이다. 적절한 표본 수의 학습이 이루어지지 않은 AI가 과연 정확한 판단을 할 수 있을까? 나는 아니라고 생각한다. 

 

2-1. AI역량검사는 기존의 인적성 검사보다 합리적인가?

그렇다면 AI역량검사가 기존의 인적성 검사, 학벌, 학점, 어학 등의 기준보다 합리적인가? 잡0는 아래의 신문기사에서 자신들의 합리성을 주장하였다.

 

https://www.donga.com/news/It/article/all/20220829/115196624/1

학벌·스펙, 성과와 무관하다는데 뭘 보고 뽑나…생물학·신경과학에 답 있다

 

하지만 이 기사에 있는 잡0의 주장에는 한 가지 문제점이 있다. 바로 주장의 모든 실험 근거가 잡0에서 나온 것이다. 주장을 밑받침하는 실험 근거가 다른 기관에 의해서 검증되지 않은 것이다. 그래서 신뢰도가 낮다.

 

그리고 또 다른 결정적인 문제도 있다. 기존의 인적성 검사와 AI역량 검사의 비교 과정이 잘못되었다. 기존의 인적성 검사의 효용성은 과거의 인적성 검사 결과와 현재의 성과도를 비교해서 냈을 것이다. 그리고 AI역량 검사의 효용성은 현재의 검사 결과와 현재의 성과도를 비교했을 것이다. 매우 부당한 비교이다. 고성과자일수록 현재의 인적성 검사 결과가 좋을 가능성과 AI역량 검사의 결과가 미래의 성과도와 연관이 없을 수 있다는 가능성을 배제하고 그대로 비교한 것이다. 이런 기울어진 운동장에서는 AI역량 검사의 효용성이 높게 보일 수밖에 없다. 

 

이 글을 쓰는 이유

딱히 궁금증이 해결된 것도 아닌데, 이 글을 쓰는 것에는 이유가 있다.

 

먼저 AI라는 단어의 오남용을 지적하고 싶었다. 알파고가 이세돌 기사님을 이긴 후에 여기저기서 AI를 이용한 마케팅을 했다. 물론 AI를 활용하여 획기적인 성과나 신제품을 만들 수 있는 분야도 많다. 그리고 AI가 시대의 흐름이고 반드시 따라가야 할 것도 맞다. 하지만 AI를 활용하기 어려운 부분들도 있다. 누가 봐도 AI를 쓰기 어려운 분야나 부분에서 어떻게 AI를 활용했다는 설명도 없이, 그냥 'AI00', 'AI0000'이라고 홍보하는 경우를 보면 많이 아쉬웠다. 컴퓨터 공학 전공자로서 미래의 주요 산업인 AI에 대해 잘못된 이해가 퍼지는 것 같아서 안타까웠다. 그래서 AI라는 단어의 남발을 지적하고 싶었다.

 

그리고 취업준비생들에게 힘이 되고 싶었다. 취업하기 어려워진 세상에서 수많은 것들을 해야 하는 사람들이 취업준비생들이다. 그들의 노력과 능력을 판단하는 기준들이 더 합리적으로 바뀐다면, 취업을 준비하는 의욕도 더 높아질 수도 있고, 결과에도 더 납득이 갈 것이라고 생각한다. 그래서 AI역량 검사의 효과성에 대하여 의문을 제시하는 글을 쓰게 되었다.

 

내가 원하는 것은 AI역량 검사가 없어지는 것이 아니다. 오히려 AI역량 검사가 정말 효과적임이 과학적으로 증명된다면 사회에 적극적으로 그것을 도입하는 것이 맞다고 생각한다. 다만 효과성이 제대로 증명되지 않았는데, 역량검사에 AI가 붙었다고 하여 도입하는 것은 아니어야 한다. 아무런 근거 없이 안그래도 힘든 취준생들에게 진지하게 마법약 만들기나 고양이 술래잡기를 시키면 안 된다.