• 10月28日下午，教育心理学系2022年校庆系列学术报告第三场圆满结束。我系晨晖学者肖悦博士为大家带来题为“计算机化测验中过程数据的信息提取与测量建模”的精彩报告。报告介绍了计算机化测验中过程数据分析的价值与现状，以及肖悦博士及其团队基于PIAAC 2012 PSTRE过程数据的两项研究。本场报告在田家炳教育书院205线下举行，吸引了相关研究人员的热情参与。

• -<1>-计算机化测验中过程数据的数据

• 近年来，基于计算机的评估( computer-based assessments,CBAs)引起学界广泛关注在测验形式方面，基于计算机的评估能够提供更丰富的测验材料，构建动态仿真的交互式任务，从而具有更高的生态效度。与此同时，被试在作答这些任务时的反应过程能被实时记录下来，为复杂思维能力的测评提供有力支撑，也使大规模过程数据分析成为可能.

• 相比结果数据，过程数据包含了有关被试的更加丰富的信息，例如被试采用的探索行为，使用何种问题解决策略，错误的类型及原因等，使研究人员可以获得更多关于个体真实水平的信息，在更精细的水平上推断其潜在认知过程。

• 然而，学界目前针对过程数据中作答行为的研究尚处于发展阶段。究其原因，过程数据的数据量大，不同作答者的序列长度存在差异。此外，前期操作会对后续行为产生影响，需要考虑行为的时席性。同时作答过程中往往存在大量噪音，使得人工编码费时费力。因此，如何有效利用和正确理解这些数据是研究考虑的重点。

• 目前，已有的过程数据分析方法根据其目的和结果可以主要分为信息抽取和测量建模两大类。对于信息抽取类，除了理论驱动的方法(根据专家定义来人工抽取行为指标)，学界越来越关注数据驱动的方法。根据抽取的信息，这类方法又可以进一步划分为抽取行为特征和抽取个体特征的方法。在测量建模类的方法中，为推断个体能力水平，一部分研究者采用将过程信息与结果分数相结合的方式，而另一些研究者则是完全基于过程数据开发新的测量模型。

• -<2>-利用隐马尔可夫模型抽取行为特征

• 国际成人能力评估调查 ( Programme for the International Assessment of Adult Competencies，PIAAC ) 是经济合作与发展组织 ( Organization for Economic Co-operation and Development, OECD)实施的大规模国际调查研究之一，首在对成年人在社会生活方面的能力进行评估。2012年，PIAAC开展了基于计算机的仿真情景测验，测量了成人“在技术丰富环境下的问题解决” ( Problem solving in technology-richenvironment, PSTRE )。

• 肖悦老师介绍了其团队基于PIAAC 2012 PSTRE过程数据开展的两项研究。第一项研究以数据驱动的方式，即隐马尔科夫模型，从过程序列中抽取可解释的行为特征，第二项研究则是将过程信息作为辅助信息，加入基于结果得分的传统测量模型，以推断被试潜在能力。

• 隐马尔科夫模型 ( Hidden Markov Model，HMM)主要用于处理时间序列数据，即样本之间有时间序列关系的数据。研究主要利用HMM探索问题解决过程中的潜在状态及状态转移从而推断群体的行为特征。

• 研究一的研究问题:

• (1)单个PSTRE情境中能抽取出什么潜在状态，状态之间如何转移?

• (2)这些状态是否能合理反映出观测行为序列，并被预定义的问题解决策略所验证?

• (3)个体的行为和/或参与程度是否因其问题解决能力而在潜在状态上表现出差异，以及其行为模式在不同任务中是否表现出一致性?

• 研究以PSTRE的U19a和U19b两道题目为例进行分析，采用的样本为1355名美国成年人，其中1340人有问题解决结果得分，基于隐马尔科夫模型得出该群体在两道题上的问题解决模式，如下图所示:

——————————————————————————————————————————————————————

• 研究团队进一步对比了在每道题的作答过程中，被试潜在状态与问题解决结果的关联及被试行为模式在两道题之间的一致性。结果发现，不同结果组之间的行为模式差异明显(正确组:更加投入，更多使用有效工具，做出更多得分关键行为;错误组:更多使用短序列，表现出犹豫行为 )，并且这样的模式差异在不同任务之间具有中度一致性。研究显示出隐马尔科夫模型在过程数据分析的优势，以及问题解决中认知工具的重要性。

• -<3>-将过程信息作为能力估计的辅助信息

• 鉴于过程数据包含更多有关能力水平的信息，但过程信息与问题解决能力之间的对应关系不明确，肖悦老师及其团队的第二项研究主要将过程信息作为辅助(先验)信息，加入基于结果得分的IRT测量模型，以推断个体的问题解决能力。

• 研究二的研究问题：

• (1)加入过程先验后，能力估计值能否反映出与真实水平有关的过程差异 ?

• (2)加入过程信息能否提高估计精度，进而提高测验效率 ?

• 分析方法 :IRT与过程信息的结合模型

• 第一步:抽取过程特征一采用Tang等人(2020)将其应用于过程数据分析的多维尺度法( Multidimensional Scaling, MDS )

• 该方法对每道题的过程序列抽取多个连续变量，具体而言，基于序列之间的距离，构建K维空间，再对维度做主成分分析，提高可解释性，从而得到K个特征。对每个可能的K值，基于交又验证计算信息损失量。损失量最小的数值为最后的K值。

• 但由于这样得到的特征个数过多，研究构建了一个保留信息量的指标，并基于此对每道题仅保留了前3个特征。

• 第二步:向IRT模型中加入过程特征

• 将所得过程特征作为能力参数的先验加入单维广义分部评分模型(unidimensionageneralized partial credit model)，构建结合模型，并对比了无过程信息的IRT模型与加入过程信息的IRT模型对于能力估计的实际结果。

• 为检验加入过程信息的能力估计值是否能反映问题解决过程上的重要差异，研究团队对作答序列抽取了与能力水平有关的过程指标(相似度和效率)，并计算各方法的能力估计值与过程指标的相关。整体而言，加入过程信息的能力估计值包含更多与问题解决策略及效率有关的信息，并且能反映出相同得分模式下被试的作答过程差异。

• 为验证加入过程信息是否能提高测验效率，研究团队对不同数量的题目分别拟合加入过程信息的IRT模型与不含过程信息的IRT模型，比较其能力估计值的平均标准误或后验标准差。结果发现，加入过程信息有利于提高测量精度，且对于高或低能力段的被试效果最为明显。

• -<4>-反思与讨论

• 1、加入过程信息所推断出的问题解决能力是否更接近真实水平，还需要做更多的验证

• 2、基于数据驱动方式抽取的过程特征与能力之间的对应关系尚不明晰，若需准确筛选出与能力水平相关的部分需要更多额外信息，可能影响测验效率。因此对用于推断能力的过程特征的筛选有待做更多尝试

• 3、若使用过程信息辅助能力估计，其先验信息的构建形式，或者是其加入测量模型的方式还可以做更多讨论。

~END~