大数据、物联网以及人工智能技术的兴起，推动了智能教育的发展。多模态数据融合逐渐受到智能教育领域相关人员的重视，作为一种新型数据融合技术，不仅有效还原了教学过程全貌，还可以深层次探究教育发展规律。1多模态数据类型与策略1.1多模态数据类型外在行为表征数据主要包括行为个体的话语、表情、身体姿态、惯性动作等。在实际研究中，常见的外在行为表征数据主要有两种：一种是文本、语言和视频的多模态数据；另一种是基于面部标签和身体姿态的多模态数据。通过对各类数据的融合分析，可以有效识别个体的行为表现以及心理活动[1-2]。内在神经生理信息数据主要源自多模态生物识别技术的应用，通过各种外部的智能传感设备，研究相关主体的身体健康指标、行为指标等，如脑电波、激素分泌水平、心率、呼吸等。通过对此类生理信息的采集，完成对行为主体的情绪特征和心理波动情况判别。人机交互数据主要是行为主体与系统、线上平台、移动端等界面完成交互操作后形成的行为数据，如文本输入、惯性浏览、压感、电触反馈等等[3]。利用多模态人机交互数据，可以实现对主体活动的有效推测。情境感知数据主要是对个体在特定时空情境下单一特征的表述，可以利用多源异构数据，实现对情境的刻画，构成人、机、物、环境要素的精准测评[4]。1.2多模态数据融合策略多模态数据主要利用信号传输中的数据判别以及计算机处理单元的深度学习功能，实现不同模态数据的综合分析，利用不同模态数据的互补机制提取有效信息。现阶段，多模态数据融合的策略主要包括以下三种。（1）数据级融合策略。将多模态数据融合成为单一特征矩阵，并输入到分类器当中，进行模拟训练，实现对个体特征的精准识别。一般来说，数据级融合要求多个传感器是同质的（传感器观测的是同一物理量），否则需要进行尺度校准。数据级融合不存在数据丢失的问题，得到的结果也较为准确，但对系统通信的稳定性要求较高。（2）特征级融合策略。将不同的模态数据进行有效转化，使数据成为高维特征表达，利用不同模态数据在高维空间的共性特征，选择合理位置，对数据完成融合。特征级融合可大致为两类：目标状态融合、目标特性融合。前者主要应用于多传感器的目标跟踪领域，后者是特征层联合识别，即特征模式识别。（3）决策级融合策略，根据模态数据的类型，选择合适的分类器，进行有效数据逻辑判定，然后将每种模态分类器输出的标签值，进行打分，最终融合。常用的方式包括贝叶斯规则融合、平均值融合等[5]。决策层融合在信息处理方面具有较高的灵活性，系统对信息传输稳定性要求较低，能够有效地融合环境特征并做出反应，可以有效处理不同类型信息和非同步信息。常用的数据融合方法及特征如表1所示。通常使用的方法确定，将依照应用环境的不同，完成选择。由于各种技术之间的互补性，实际上常用两种或多种方法组合的形式，完成多传感器数据融合。10.19301/j.cnki.zncs.2022.11.005.T001表1常用数据融合方法融合方法运行环境信息类型信息表示不确定性融合技术适用范围加权平均动态冗余原始读数值—加权平均低层数据融合卡尔曼滤波动态冗余概率分布高斯噪声系统模型滤波低层数据融合贝叶斯估计静态冗余概率分布高斯噪声贝叶斯估计高层数据融合统计决策理论静态冗余概率分布高斯噪声极值决策高层数据融合证据推理静态冗余互补命题逻辑推理高层数据融合模糊推理静态冗余互补命题隶属度逻辑推理高层数据融合神经元网络动/静态冗余互补神经元输入学习误差神经元网络低/高层产生式规则动/静态冗余互补命题置信因子逻辑推理高层数据融合注：“—”表示内容为空。2多模态数据融合在智能教育领域的应用策略2.1通过多模态数据，实现人机交互分析随着智能导学系统、教育机器人等智能教育产品的推广和应用，学习过程中人机交互动作也越发频繁，使可获取的交互数据呈指数级增长。多模态人机交互分析能够实现对学习者的学习行为分析判定以及心理状态的分析，进而充分了解行为人的实际意图，以提供更为精准的个性化服务。传统的导学系统主要基于计算机外部设备实现交互动作，而在多模态交互当中，可以将外部设备的敲击、摇动等动作输入数据库基础处理反馈单元，结合指压、电触等完成信息获取，并在数据分析单元完成融合，经判定后形成有效的模拟数据，从而辅助分析行为人的学习过程、学习效果等[6-7]。通过对学习过程中的身体姿态、表情、脑电以及人体神经元的弱点反馈等数据进行汇总“观察”，还可实现多模态交互。而人工录入系统的统计数据（如自我认知、心理测评等内容）经在多模态框架融合后，可构建面向学习者的情绪测评与认知分析系统，辅助进行定向思维引导。结合血压监测仪、脑电图、眼动仪等，识别学习者的生物信息，以此为学习者提供符合“惯性”行为的学习方式。对传统的教育机器人，可以结合智能数据应用，构建人脸识别、语义识别以及语言组织与学习系统，在完成交互动作的同时，提升“动态”兴趣。采集学习者的语音、动作、特征标签等，使学习者在与“学习型”机器人的交流互动当中，形成语言能力和逻辑能力提升的良性循环。2.2通过多模态数据，实现学习中情绪识别在多模态数据融合当中，通过自然语言处理、生物信息识别、语音识别、计算机视觉等，可详细记录“学习行为”过程中的心跳、眼动、语言、表情以及肢体动作等，并将此类数据进行整合，判定学习情绪，深入挖掘“学习行为”的动机、兴趣点及投入情况等[8-9]。通过获取学习中的血压、心率、脑电信号等多模态情感数据，可以判别出好奇、无聊、期待、困惑等情绪。基于系统的识别判定结果，及时地发现问题，并给予改正。此外，通过多模态数据，也可以对学生的学习兴趣自动监测，随时了解在学习过程中出现的不同程度的情绪变化，完成数据统计，并进行对比分析，输出判定结果数据，再根据数据对教学方法进行调整。与传统教学过程中的情绪疏导与心理健康评测相比，这一模式更具有客观性和精准性。2.3通过多模态数据，实现学习投入与监测识别学习过程中，“投入程度”作为重要的人为测评指标，现阶段仍无法实现有效量化，但是借助多模态数据融合，经人工测评录入以及模拟分析能够对“投入程度”完成基础量化分析，结合参考标准对数据结果给予评定。可以将面部表情数据、红外图像数据、鼠标点击数据等，整合为多模态数据集，通过CNN方法，对学习过程当中的具体参与情况，进行检测，借助融合分析，得出学生的学习投入情况[10]。在多模态数据当中，还可以对完整学习过程的行为投入、认知投入以及情感投入进行综合测评，以频谱分析或颜色（深浅）图像将判定成果以不同形式展示，能够更直观地获取“投入程度”的数据分布，实现外部特征信息和生理特征信息的充分融合。此外，在多模态数据融合下，可以根据学习过程中内在生理信息和外显行为的结合，了解学习表现情况。如通过设定不同的游戏环节，构建面部表情、眼动、点击流等相关的多模态数据集，通过Lasso回归模型等方式，实现对学习过程中技能发展情况以及任务处理能力的判定。利用学生在不同类型场合的出席次数、座位排布、注意力集中情况、课业时长等行为表现和交互数据，构建多模态数据集，结合计算机系统的学习与分析能力，充分了解学生在混合课堂模式下可能出现的各类表现，因材施教。3结语随着社会的发展，多模态数据融合逐渐成为大数据分析和人工智能领域研究的重要内容。文章在阐述的多模态数据融合的基本特征和内容的同时，引入教育领域的数字化建设以及交互数据融合，对发展和研究方向进行简要阐述，对研究多模态数据融合的应用及发展理念具有一定的现实意义。