뉴저지주가 표준화된 평가 체계인 '뉴저지 학생 학습 적응형 평가(New Jersey Student Learning Assessments-Adaptive)'에 자동화 방식을 도입하기로 했다. 이 시스템은 초등학생부터 고등학생까지 영어 과목의 에세이와 단답형 답변을 인공지능으로 평가하는 구조를 갖추고 있다. 컴퓨터를 활용한 채점 방식 자체는 이전에도 존재했으나, 이번 전환은 130만 명에 달하는 학생들의 학업 성과를 처리하는 방식에 있어 전례 없는 대규모 확장을 의미한다.

Cambium Assessment가 운영하는 이 채점 엔진은 일반적인 챗봇에서 볼 수 있는 생성형 모델 대신 엄격한 매개변수를 기반으로 작동한다. 특히 이는 인공지능이 허구의 정보를 생성하는 할루시네이션 현상을 방지하기 위한 설계다. 주 정부는 정확성을 유지하기 위해 비정상적인 답변이 감지될 경우 사람이 직접 검토하도록 분류하는 시스템을 갖췄다고 밝혔다. 이러한 하이브리드 워크플로우는 기계의 속도와 인간의 판단력 사이에서 균형을 맞추려는 시도지만, 교사 노동조합 사이에서는 여전히 시행을 둘러싼 논란이 계속되고 있다.

한편 비판론자들은 다른 주의 실패 사례를 근거로 신중한 접근을 요구하고 있다. 실제로 텍사스주의 한 교육구에서는 AI가 채점한 시험지를 사람이 재검토했을 때 약 44%가 더 높은 점수를 받은 사례가 발견되기도 했다. 이와 같은 점수 차이는 학생의 학업 성취도와 미래가 결정될 수 있는 중요한 평가 환경에서 자동화 시스템의 신뢰성에 대한 근본적인 의문을 제기하고 있다.

미국 뉴저지주가 학생들의 실력을 확인하는 정기 시험(뉴저지 학생 학습 적응형 평가)에 자동 채점 방식을 도입하기로 했어요. 이제 초등학교 3학년부터 고등학교 1학년까지, 영어 과목에서 쓴 긴 글(에세이)이나 짧은 답변을 인공지능이 직접 읽고 점수를 매기게 돼요. 예전에도 컴퓨터로 채점한 적은 있었지만, 이번처럼 130만 명이라는 엄청나게 많은 학생의 시험지를 한꺼번에 인공지능에게 맡기는 것은 처음 있는 아주 큰 일이에요.

이 인공지능 채점 프로그램(채점 엔진)은 우리가 흔히 쓰는 대화형 로봇처럼 마음대로 말을 지어내지 못하도록 정해진 규칙(매개변수)에 따라서만 작동해요. 인공지능이 엉뚱한 가짜 정보를 진짜처럼 말하는 실수(할루시네이션)를 막기 위해서지요. 뉴저지주는 정확한 점수를 주기 위해 인공지능이 판단하기 어려운 이상한 답변이 나오면 사람이 직접 다시 확인하는 방식(하이브리드 워크플로우)을 사용하기로 했어요. 하지만 선생님들은 기계가 사람의 판단력을 완전히 대신할 수 있을지 여전히 걱정하며 토론하고 있어요.

한편, 이 방식을 반대하는 사람들은 다른 지역에서 있었던 실패 사례를 조심해야 한다고 말해요. 실제로 텍사스주의 한 학교에서는 인공지능이 매긴 점수를 사람이 다시 확인해 보니, 학생 100명 중 44명이나 되는 학생들의 점수가 실제보다 낮게 나왔던 적이 있었거든요. 학생의 성적과 미래가 걸린 중요한 시험인 만큼, 인공지능의 채점을 얼마나 믿을 수 있을지에 대해 많은 의문이 생기고 있어요.