人类对付学习的认知每每受制于我们的感知能力和衡量标准，这也是为何千年以来人类学习的进化速率非常的缓慢。

然而，当代多模态传感数据的处理能力日月牙异，通过在实际的教诲过程网络到的学生生理旗子暗记、言语表达、面部表情、姿势等多模态数据，科学家们正在以一种新的视角重新核阅和理解学习。

中国教诲行业正在经历一场以数据和人工智能为核心的技能变革，这也是为何在今年8月10日-16日于澳门举办的国际人工智能联合会议上(IJCAI)上，环绕多模态数据剖析和智能教诲的研讨会AIMA4EDU受到了业内极大的关注。

AIMA4EDU，全称为“基于人工智能的多模态剖析用于理解现实天下教诲环境中的人类学习”，由中国人工智能教诲独角兽乂学教诲-松鼠AI联合举办，8月11日举办为期一天。
研讨会除了颁发最佳论文和最佳学生论文之外，还约请了来自加州伯克利大学、孟菲斯大学和松鼠AI的专家，分享他们基于多模态数据的教诲前沿研究。

明年的AIMA4EDU研讨会将与IJCAI 2020一起在日本横滨举办。

最佳论文

得到最佳论文的是来自荷兰开放大学和德国莱布尼茨教诲研究和信息研究所的“Multimodal Pipeline: A generic approach for handling multimodal data for supporting learning(多模态事情流：用于处理多模态数据以支持学习的通用方法)”。

多模态事情流是一种用于支持学习的多模态数据的网络、存储、注释、处理和利用的方法。
在目前的发展阶段，多模态事情流由两个干系的原型组成：1)多模态学习中央，用于网络和存储来自多个运用程序的传感器数据;2)可视化检讨工具，用于可视化和记录所记录的会话。
多模态事情流可用于支持各种学习场景，如演示技巧、患者人体模型的医学仿照等，可以供应不同的支持策略，包括检测缺点，并在智能辅导系统中提示实时反馈，或通过学习剖析仪表板勉励自我反省。
论文链接在此。

最佳学生论文

得到最佳学生论文的是来悛改南威尔士大学研究团队的“Deep Multi-agent Attentional Learning for Cognitive Attention Analysis in Educational Context(深层多智能体学习在教诲语境中的认知把稳力剖析)”。

传感系统的最新发展许可连续产生大量传感数据，这使得繁芜的学习成为可能。
为了应对日益增长的对教诲问题的关注，本文将学生的EEG旗子暗记与教诲背景下的认知把稳状态联系起来。
研究团队考虑人类关注的两个固有特色，即空间- 韶光上不同的特色显著性和个体特色之间的关系。
基于这些，本文提出了一种多智能体时空关注模型。
时空关注机制有助于智能地选择信息渠道及其生动期。
并且所提出的模型中的多个智能体表示具有集体全局选择的单个特色的生理征象。
通过共同目标，智能体共享得到的信息并折衷他们的选择策略以学习最佳的把稳力剖析模型。
论文链接在此。

以下是大会演讲的亮点汇总：

孟菲斯大学Frank Andrasik：关于神经反馈治疗自闭症谱系障碍的方法论思考

Andrasik博士目前担当田纳西州孟菲斯大学生理学系行为医学中央的精彩教授、主席和主任。
他在1979年得到俄亥俄大学临床生理学博士学位，至今揭橥过大约270篇文章，并揭橥了大量演讲。
Andrasik博士同时还是生理学家，以及Applied Psychophysiology和Biofeedback两份刊物的主编。

Andrasik博士的演讲谈论了神经反馈(Neurofeedback)在治疗自闭症谱系障碍患者(Autism Spectrum Disorder，简称ASD)的方法论。
ASD大略而言便是自闭症，但是一个更广义上的医学名词。

脑神经反馈演习则是目前一种比较新颖的治疗手段，通过检测患者的脑波活动状态，针对大脑薄弱的区域通过分外的手段磨炼大脑神经。
在过去三年，这项技能呈现井喷式增长，并且开始大量用于商业化，位于佛罗里达的Neurocore是目前美国最大的神经反馈做事供应商之一，美国教诲部长贝齐·德沃斯(Betsy DeVos)拥有该公司的部分股权。

只管神经反馈的发展迅猛，但Andrasik博士列举了该治疗技能在过去几年涌现的问题：比如安慰剂效应，忽略了衡量维度，缺少长期跟踪患者状态的机制。

神经反馈公司浮夸的宣扬也是行业的普遍征象：美国联邦贸易委员会指控Lumos游戏的创建者Lumos Labs欺骗消费者，毫无根据地声称他们的游戏可以帮助患者在事情和学校中表现更好，并减少或延迟与年事和其他严重康健状况干系的认知障碍。

那么该如何推动这个行业提高?Andrasik博士总结了七个方向：

•DSM-5提高诊断精度。
DSM-5是美国精神疾病诊断与统计手册第五版，把当代人们所有由于感情掌握不当和各种奇葩的病症列为各种轻~重型精神病;

•认识到皮质缺少不是症状的唯一缘故原由。
外周生理活动、例如心率及其变异性，与神全心理学旗子暗记密切干系，并与社会参与度有关;

•确定反应的预测成分，治疗可能须要40-80个疗程;

•利用非打仗式电容式EEG电极，基于近红外光谱(NIRS)的传感器，可穿着式头盔设备等，在最须要的环境中每天练习;

•加强对治疗机制的关注;

•利用机器学习方法;

•关注在真实环境而不是实验室环境中的功效。

松鼠AI 首席架构师、Richard Tong：基于智能体的自适应传授教化系统设计框架

松鼠AI首席架构师Richard Tong曾担当过Knewton的大中华区卖力人和Amplify Education的办理方案架构总监，除此之外，他还是IEEE AIS(自适应传授教化系统)标准事情组成员以及互操作性小组的主席(IEEE 2247.2)。

Richard Tong先容了松鼠AI建立自适应传授教化系统框架的初衷和细节。
他认为，阻挡优质教诲的遍及和规模化的最大障碍来自于三点：本钱、可行性、系统惯性。
基于此，松鼠AI坚信教诲方法须要重新定义：

•每个学生都不同，任何基于团队的传授教化都不能有效地利用学生的韶光;

•AI现在可以供应大规模的连续自适应一对一体验;

•人类西席(教练)应供应有针对性的、社会的和具有动机的个人支持。

那为什么教诲须要一个基于智能体的框架?Richard 认为，一个智能体框架能设计出更好的教诲过程：

•智能体更好地理解全体教诲过程和产品，学习的关键条件可以在智能体框架中得到很好的表示，包括学习的准备、学习能力、以及学习环境;

•智能体框架是一个发生学习的自然框架，可以更好地帮助学生学习科学，拥有更好的可阐明性和人机界面设计;

•更好地智能体设计可以更好地设计教诲系统，智能体的水平应紧张通过智能体改进学习成果的能力来衡量，而不是通过履行方法的繁芜程度来衡量。

Richard 大略先容了松鼠AI自适应传授教化系统的设计框架，紧张由三部分组成：一个传授教化智能体，学习拥有本体层、传感器、资源和工具;一个复合模型，包含领域模型、学习模型、交互模型;以及一个传授教化模型，可以算作是一个强化学习的策略，有行为、规则、和褒奖函数。

在全体框架下，松鼠AI设计了四种智能体：外环智能体、内环智能体、伴侣智能体、仿照学生智能体。

须要着重理解的是这个外环-内环框架机制，也可以理解宏不雅观-微不雅观适应性架构。
外环智能体会遍历一个动态的任务序列，结合本体层的学习舆图和内容舆图以及算法层的学生画像、知识状态评估、推举引擎，为学生选定得当的任务进行学习。

内环智能体则是得到一个动态的学习行为，遍历学习一个任务的不同步骤，架构类似但不同的模块更加细分。
这使得松鼠AI的系统真正具有适应性- 不仅可以供应有关任务的反馈，还可以供应各个步骤的反馈。
将两者结合之后得到的智能体学习行为，会保存在LRS中作为智能体先前的学习历史。

Richard也列举了目前依然碰着的寻衅，比如：智能体之间的互换、本体层、传感信息的领悟、以及高下文信息的同步。
松鼠AI的下一步是进行更多的联合研究，目前已经和卡内基梅隆大学以及斯坦福大学达成联合研究的项目;做更多的参考设计和实验;标准化系统之间的智能体接口和其他组件。

松鼠AI KP Thai：用于多模态传授教化和学习剖析的大规模数据集

松鼠AI的高等学习和数据科学家KP Thai博士紧张先容了松鼠AI研究团队的最新成果：一个用于多模态传授教化和学习剖析的大规模数据集MULTA。

Thai博士先容称，搭建这个数据的缘故原由是高频多模态数据采集技能和AI/ML剖析技能的进步可以为学习供应新的见地，但目前公开的可用的数据集并不多，尤其是来自现实天下的学习环境、松鼠AI希望通过发布数据集以帮助探索多模态学习剖析和数据挖掘，促进传授教化和学习的进步。

松鼠AI网络了来自两个课落后修中央的156名中学生的数据，他们参与了5个科目：数学、英语(语法和阅读)、中文、物理、化学。
在五周的韶光里，学生们被哀求佩戴脑波耳机并进行录像。

在学习过程中，松鼠AI网络了其系统上的用户记录、脑电波(利用BrainCo的脑电图头带)、以及网络摄像头***(通过Debut***录制软件的网络摄像头)。
研究团队将脑电波和网络摄像头***同步到用户记录上，根据韶光同步三个数据源，基于不同的问题分割脑波和网络摄像头***数据。

数据集目前还存在一些不敷，比如数据网络过程并未犹如设想的同等，导致可用数据少于预期，网络摄像头和脑波数据的长度与课程长度不同，网络摄像头没有精确设置等等。

未来，松鼠AI将优化数据网络和准备过程，连续网络数据，寻求多模态之间同步的工具，并更好地理解脑电波的特色表示。

后文将对别的演讲者的内容做大略先容：

来悛改南威尔士大学的研究团队先容了他们的最新论文“On Using EEG Signals for Human Attention Estimation(用EEG旗子暗记进行人体把稳力估计)”。
EEG旗子暗记是估计人类把稳力的紧张媒介。
当前的EEG研究常日须要针对不同受试者的适应步骤，然后脑计接口经由调度后才能用在新的实验者身上，这会耗费大量的韶光和人力。
研究者提出了卷积递归把稳模型(CRAM)，利用卷积神经网络编码脑电旗子暗记的高等表示和反复把稳机制，以探索脑电旗子暗记的韶光动态，并专注于最具辨别力的韶光周期。

来自北京交通大学和北京师范大学的研究团队先容了他们的最新论文“Understanding Schoolchildren Test Anxiety through Online Writing Analysis(通过在线写作剖析理解学童考试焦虑)”。
如何科学有效地判断学生是否有考试焦虑，从而及时给予帮助是一个值得关注的研究课题。
与高本钱的自我报告比较，本文的研究试图通过剖析在线写作来理解考试焦虑的表现并预测个体考试焦虑的程度。
研究创造考试焦虑与一些写作习气有关，例如易用词的利用频率和预测词的利用类型。
通过运用机器学习技能，建立并评估基于在线书写数据的考试焦虑预测模型。
随机森林回归器目前实现了最佳性能。

来自悉尼科技大学、南京航空航天算夜学、和北京化工大学的研究团队先容了他们的最新论文“Student Sentiment Analysis Through Students’Assignments(通过学生作业剖析学生感情)”。
学生感情剖析对学生管理学习和生活至关主要。
为理解决这个问题，本文提出了一个分层的学生感情剖析框架来剖析学生的作业感情。
该框架包括两个流：参考流和学生语句流，它们能够从引号和引用等分析部分学生感情。
实验结果证明这个框架在大学生作业数据集方面优于其他竞争对手。

来自悉尼科技大学和蒙纳士大学的研究团队先容了他们的最新论文“Universal Graph Embedding for Heterogeneous Study-trajectory Graph(用于异构研究轨迹图的通用图嵌入)”。
当前的学习兴趣创造方法利用单个韶光序列单调地仿照每个学生的学习轨迹，忽略了学生和课程之间的相互依赖性。
本文中将学生和课程构建为研究轨迹图中的异构节点源，并提出了一种通用图嵌入框架(UGE)来同时捕获同质节点之间的相互关系以及异构节点之间的相互依赖性。