https://arxiv.org/abs/2309.13060
GPT-3와 dynamic neural-network model을 이용해 학생 맞춤 AI Tutor를 제공하고 그 효용성을 검증하는 논문입니다.
아래 정리된 내용은 논문의 모든 내용을 담고 있지 않습니다.
1 Introduction
- AI Tutor 앱을 통한 보완 학습
- 먼저 LLM을 활용해 학습 자료에 대해 문제를 생성
- 그 후 학생들과의 상호작용을 통해 학생의 knowledge level을 예측하는 neural network를 생성
- AI Tutor 앱을 적극적으로 활용하는 것이 학습에 도움이 되는지 판단
2 Reviews
2.1 Human learning
효율적인 학습을 위해 필요로 하는 요소는 크게 5가지:
- Spaced practice: 시간적 텀을 두고 학습
- 배운 내용을 "적당히" 까먹었을 때 효과적
- Retrieval practice: Active recalling information form memeory
- Excessively high or low retrieval rate는 학생의 자신감과 배우고자 하는 의지를 저하시킬 수 있음
- Interleaving: 서로 다른 주제를 바꿔가며 학습
- 주제의 연관성이 학습에 큰 영향을 미칠 수 있음
- Elaboration: 이미 알고 있는 지식에 새로운 정보를 더하는 학습
- Personalization: 개인에게 맞춰진 학습 경험
본 논문에서는 Personalization 가장 큰 역할을 함
2.3 Artificial intelligence in education
AI를 활용한 교육 방법은 크게 4가지:
- Profiling and Prediction: 학생 프로파일을 생성 및 분석
- Assessment and Evaluation: AI 기반 즉각적인 시험과 평가
- Adaptive Systems and Personalization
- Intelligent Tutoring Systems: AI가 개인화된 지시로 학습을 도움
3 Methods
3.1 AI tutor app
AI Tuor 앱은 MAGMA Learning에서 제공
- Personalized apporach to retrieval practice and spaced repetition
학기 초에 GPT로 학습 자료기반 문항 800개 생성 (문제 은행)
- 다양한 유형: Definitions, fill-in-the-blank, true/false, multiple-choice, image-based, acronyms(약어)
- 다양한 난이도
- 모든 문제는 학습 자료 특정 슬라이드를 기반으로 생성
- 특정 슬라이드를 문항과 연결시켜 정확한 피드백을 받을 수 있도록 설계
- 선생님이 직접 모두 검수
학생 답안을 기반으로 AI Tutor는 각 학생이 각 문제를 맞힐 확률을 동적으로 계산 ("grasp")
- Input features: information on questions, information on students, historical interaction
각 학생의 knowledge level과 evolution(learning and forgetting)을 통해 학생에게 가장 "유익한" 문항을 제공
- "적당한" 난이도의 문제를 제공하는 것이 주요 포인트
- 학생의 proximal development 영역 내에서의 학습 경험 제공
각 학생이 진행도를 알 수 있도록 "learnet"을 제공
- 각 점은 학습 자료의 핵심 아이디어를 의미
- 밝기는 학생의 "grasp"를 뜻함 (학생이 문제를 맞힐 확률)
- 어두운 점은 학생이 아직 배워야 함 또는 까먹었음을 나타냄
- 밝은 점은 학생이 높은 수준의 이해도를 가지고 있음을 나타냄
4 Results
4.1 Enhanced academic performance
AI Tutor 앱을 "active"하게 사용한 학생과 그렇지 않은 학생간 유의미한 학업 성취 차이가 있었다
4.3 Comparison to Moodle quizzes
Moddle quiz는 학습 자료와 연관된 20개 선택형 문항으로 구성되어 있음
학생들은 Moddle quiz를 여러번 풀 수 있고 정답과 해설이 제공됨
Moddle quiz를 "active"하게 푼 학생과 그렇지 않은 학생 사이에 유의미한 학업 성취 차이가 없었음
4.4 Validation of grasp prediction
모델이 예측한 "grasp"와 실제 학생의 성적의 상관성을 분석
높은 Pearson coefficient (0.81)을 보여줬고 모델의 효용성을 검증할 수 있음
5 Discussion
단순히 more motivated된 학생들이 더 앱을 많이 사용했고 앱이 아닌 motivation이 학업 성취에 영향을 준 것일 수도 있음
- 반박: AI Tutor가 주어지지 않은 parallel한 다른 과목에서보다 AI Tutor가 주어진 과목 성적이 유의미하게 높음
