[Knowledge Tracing] Deep-IRT

논문 링크: https://arxiv.org/abs/1904.11738

Intro

딥러닝 모델(DKVMN)과 심리측정 모델(IRT)을 결합한 것
1. DKVMN으로 이력 데이터로부터 latent feature를 추출하고, 이를 바탕으로 KC 난이도와, KC에 대한 각 학생의 능력치를 추론한다.
2. 그 다음엔 IRT로 학생이 특정 KC문항을 맞출 확률을 예측한다.
--> 정통 IRT와 다른 점: IRT에서 학생의 능력치는 고정된 모수이지만 Deep-IRT에서는 학생 능력치가 시간에 따라 변화한다고 본다.
--> Deep-IRT는 딥러닝으로 human-engineering이 어려운 피쳐를 포착함과 동시에 IRT로 explainability도 높였다는 점에서 의미가 있다. 하지만 DKT에서와 비슷하게 reconstruction 문제가 있다는 한계가 있다. (아래 논문 참고)

[Knowledge Tracing] DKT+ (Addressing Two Problems in Deep Knowledge Tracing viaPrediction-Consistent Regularization)

Model Architecture

DKVMN 파트는 기존 논문을 그대로 참고하면 된다.

[Knowledge Tracing] DKVMN (Dynamic Key-Value Memory Networks for Knowledge Tracing)

Deep-IRT가 DKVMN과 다른 점은 문항을 맞출 확률을 구할 때 student ability network와 difficulty network로 구한 능력치와 난이도를 Item Response function에 대입한다는 점이다.

student ability network : f_t를 신경망에 통과시켜 문항 q_t에 대한 학생의 능력치를 추론한다. (f_t는 문항 q_t의 임베딩된 정보(k_t)와, 그에 대한 학생의 지식 상태에 대한 정보(r_t)를 담고 있음)

t시점에 j번째 KC에 대한 학생의 능력치

difficulty network: KC 임베딩 벡터 k_t를 신경망에 통과시켜 문항 q_t의 난이도를 산출한다.

j번째 KC의 난이도

calculate the probability: 능력치와 난이도를 문항반응함수에 통과시켜서 학생이 j번째 KC를 맞출 확률을 구한다.

값을 맞춰주기 위해서 3을 곱하였다.

전체적인 모델의 구조는 DKVMN과 비슷하나, student ability network와 difficulty network가 추가되었음을 알 수 있다.

Rsults

Deep-IRT로 구한 난이도와 사전에 라벨링된 난이도, 정답률로 구한 난이도, IRT로 구한 난이도, PFA로 구한 난이도 사이의 상관관게를 시각화 한 그래프이다. 사전에 라벨링된 난이도를 제외하고 strongly correlated된 것으로 확인되었다.