[큰글자책] AI와 평가지배사회

AI 시대의 평가

01 AI 평가지배사회의 등장
02 평가 친화적 AI
03 AI 친화적 평가
04 AI와 평가자
05 AI와 피평가자
06 AI와 평가 매개자
07 AI와 평가 결과
08 AI와 평가에 대한 평가
09 AI 평가지배사회의 인간: AI 호모 이밸루쿠스
10 AI 평가지배사회 이후

미래에도 평가지배사회를 살아갈 호모 이밸루쿠스에게 하나의 중요한 변수가 생겼다. 미래 역시 평가가 지배하는 평가지배사회이겠지만, 그때는 평가와 AI가 서로 영향을 주고받으며 만들어지는 평가지배사회라는 점에서 현재와는 같지 않을 것이다. 평가지배사회라는 점에는 변함이 없지만 평가지배사회 내의 특징이 지금과는 다르다는 의미다. 이는 컵과 그 컵의 재료와의 관계로 비유할 수 있다. 유리로 만든 컵이나 플라스틱으로 만든 컵이나 둘 다 컵으로 불리지만, 각각 유리와 플라스틱으로 만들어졌기 때문에 서로 다르다고도 말하는 것과 같다. AI 시대 이전의 평가지배사회와 AI 시대 이후의 평가지배사회는 평가지배사회라는 점에서는 동일하지만, AI와 평가 간 상호 영향으로 인해 AI 시대 이전과 이후에 차이가 생긴다.

－01_“AI 평가지배사회의 등장” 중에서

평가의 기법이나 방법이 매우 다양해졌다. 그래서 어느 하나의 평가 방법이 옳고 그른 것이 아니라, 가장 적절한 것을 선택하여 평가에 적용한다. 여기서 말하는 적절한 평가 방법의 선택은 주로 평가 자료의 종류 및 수준, 평가를 할 수 있게 하는 가용 자원의 정도, 평가자의 역량 및 선호, 평가가 이루어지는 사회적 상황(시의성, 윤리성, 이데올로기 등) 등에 따라 판단된다. 이는 평가 방법을 선택하는 데 영향을 주는 일종의 변수들인 것이다. 그런데 변수는 상수와 달리 예측하기도 힘들고 제대로 고려하기도 힘들다. 또 모든 변수를 찾아내는 것도 쉽지 않다. 그래서 적절한 평가 기법이나 방법을 선택하는 것이 쉬운 일은 아니다. 단지 설득력 있는 설명으로 해당 평가 방법의 적절성을 설명할 뿐이다.

－03_“AI 친화적 평가” 중에서

평가 매개 시장에서는 다양한 방식으로 평가 매개자가 선정된다. 입찰을 통해 평가 매개자를 선정하기도 하고, 공개 모집에 따른 심사와 심의를 통해 선정하기도 하고, 추천이나 의뢰를 통해 이루어지기도 한다. 평가 매개자가 평가하는 평가에서 공정한 평가는 공정한 평가 매개자 선정에서부터 시작된다. 잘못 선정된 평가 매개자는 평가의 신뢰를 무너뜨릴 수 있다. 정부의 평가 과정에서 나타나는 문제를 자세히 들여다보면 그 원인은 주로 평가 매개자의 문제였음을 알 수 있다. 물론 그렇다고 하더라도 그 문제에 대한 책임은 해당 평가 매개자를 평가 대행으로 위임한 당초 평가자에게 있다. 그래서 평가 매개자들의 시장에서 평가자는 평가 매개자를 제대로 선정하기 위해 노력한다. 평가의 공정성에 대한 기대가 높아지는 상황에서 평가자의 평가 업무 중 하나는 시장에서 평가 매개자를 잘 선정하는 것이 되었다.

－06_“AI와 평가 매개자” 중에서