자체 개발 기술로 정확도 높여…"GPT·제미나이와 대등하거나 더 정확"
[울산과학기술원 제공. 재판매 및 DB 금지]
울산과학기술원(UNIST)은 인공지능대학원 김태환 교수가 포항공대(POSTECH) 고성안 교수팀과 함께 손 글씨로 쓴 복잡한 수학 답안을 채점하는 AI 모델 '베미'(VEHME)를 개발했다고 17일 밝혔다.
주관식 수학 문제 채점은 교육 현장에서 가장 시간이 많이 소요되는 업무 중 하나다. 수학 풀이 특성상 수식, 그래프, 도형이 섞여 있는 데다가 학생마다 필체와 답안 배치가 제각각이어서 그동안 AI를 이용해 채점하는 데 한계가 있었다.
연구진은 자체 개발 기술인 '수식 인식 시각 프롬프트'(EVPM)와 '이중 학습 기법'을 이용해 베미의 채점 정확도를 높였다.
EVPM은 복잡하게 나열된 수식의 풀이 순서를 베미가 놓치지 않도록 만드는 역할을 한다. 또 이중 학습 기법을 통해 단순히 정답을 맞혔는지 여부뿐 아니라, 풀이 과정 중 어느 부분이 왜 틀렸는지도 설명할 수 있도록 했다.
손 글씨와 첨삭 데이터 등이 필요한 AI 학습에는 알리바바가 개발한 최첨단 언어 모델 'QwQ-32B'로 만든 합성 데이터를 투입했다.
[울산과학기술원 제공. 재판매 및 DB 금지]
그 결과 베미는 마치 사람처럼 문제 풀이의 흐름을 따라가며 수식의 위치와 문맥을 정확히 읽고, 틀린 풀이를 짚어낼 수 있었다.
실제로 베미를 활용해 초등학교 산수부터 미적분 수준까지 다양한 수학 답안을 채점해본 결과, 70억개의 매개변수만 사용하는 경량 모델임에도 수천억개 이상의 매개변수를 가진 'GPT-4o', '제미나이 2.0 Flash'와 대등한 정확도를 보였다.
특히 줄 맞춰 쓰지 않거나 글씨가 엉망인 고난도 답안의 채점에서는 베미가 더 정확하게 오류 위치를 찾아냈다.
베미는 오픈소스 모델로 학교·학원 등 교육기관에서 무료로 사용할 수 있다.
김태환 교수는 "실제 교육 현장에서 활용할 수 있을 정도로 안정성과 효율성을 확보했다"며 "자체 개발한 EVPM 모듈은 복잡하게 배열된 시각 정보를 자동으로 구조화할 수 있어 문서 인식과 설계 도면 분석, 수기 기록물 디지털화 등 다양한 산업 분야에서 활용할 수 있을 것"이라고 말했다.
이번 연구는 과학기술정보통신부 한국연구재단, 정보통신기획평가원 지원을 받아 이뤄다. 연구 결과는 자연어처리(NLP) 분야에서 권위 있는 국제학회인 '2025 자연어처리방법론학회'(EMNLP)의 정식 논문으로 채택됐다.
jjang23@yna.co.kr