叶斌、余阳等探讨大数据在MOOC网络教育中的应用及作用

叶斌、余阳等探讨大数据在MOOC网络教育中的应用及作用

叶 斌，余 阳，王 会，黄文富

（成都东软学院 信息技术与商务管理系，四川 成都 ）

摘要： 大数据技术，作为引领未来生产力的新兴领域，已在教育界得到广泛运用，并有望对教育行业带来显著的正面促进作用。剖析目前大规模开放在线课程网络教育的进展情况，以及大数据在其中的应用形态；探讨大数据对大规模开放在线课程教育带来的正面影响，以及在大规模开放在线课程网络教育融合过程中涉及的数据搜集、保存、处理和运用的技术路径；归纳大数据在网络教育服务中需要解决的问题。

关键词： 大数据；MOOC；网络

0 引言

2008年至2012年间，我国国家财政对教育的投入总额累计达到了7.79万亿元，这一数字的平均年增长率高达21.58%，教育经费在国内生产总值中的占比也攀升至4%[1]。这一成就无疑是具有里程碑意义的，然而，我们还需保持清醒，意识到这一目标是在历经12年延迟后才得以实现，并且其水平相对较低。与发达国家以及中等发达国家相比，我国在教育经费投入上仍有较大差距。

我国教育产业尚存在广阔的发展潜力。然而，传统教育模式往往需要巨额的一次性投资，并且投资回收期较长，这导致除了政府资金之外，民间资本在教育领域的投入尚显不足。

网络教育已深入千家万户，相较于传统的全日制教育，它具有投资较少、周期较短、实施便捷等显著优势，因而逐渐成为新兴教育的主流趋势，并为传统教育提供了强有力的补充。此外，网络教育也成为吸引民间资本投入教育领域的一个重要切入点。近年来，大型开放式网络课程（如MOOC）迅猛发展，为众多学生带来了系统学习的契机，从而成为网络教育领域的一大发展良机。

当前，全球最大的课程供应机构包括、以及edX。截至目前，众多享有盛誉的世界一流大学均已在该平台上开设了自己的MOOC课程。在我国，清华大学于2013年10月推出了中国大陆首个由高校自主创建的MOOC平台——学堂在线。该新型学习平台将推出清华大学自主研发的课程，以及众多国内外优秀的MOOC课程。网易、新浪以及过来人等企业纷纷与我国高校携手，共同打造MOOC课程。随着MOOC的迅速崛起，一系列新技术手段，尤其是大数据技术，正逐渐崭露头角，并日益完善，为网络教育注入了新的活力。

1 MOOC教育产业中的大数据

1.1 大数据作为教育领域的新动力

2011年6月，全球咨询领域的领军企业麦肯锡咨询公司推出了《大数据：下一个竞争、创新和生产力的前沿领域》的研究报告[2]。该报告，篇幅超过150页，其核心观点涵盖了大数据对国民经济各行业生产效率的提升作用、大数据的迅猛发展以及信息技术对产能提升的贡献率等方面。自那时起，大数据开始受到广泛关注，并被广泛应用于各行各业。其与网络的紧密联系，使得大数据在商业智能、公共服务、市场营销以及教育等多个领域，被广泛视为最重要的应用对象。

学术界对于大数据的定义尚未达成一致意见，不过仍存在一些普遍接受的观点。这些观点认为，大数据指的是那些现有技术难以在合理时间内进行管理、处理及分析的数据集合。在更广泛的意义上，大数据涵盖了三个层面的内容：首先是数据量庞大、来源广泛且种类繁多的数据集；其次是创新的数据管理与分析技术；最后是通过数据分析创造新的价值。

1.2 大数据在MOOC教育中的存在方式

在整个MOOC教育环节中，不断涌现出大量数据，这些数据源自学习者、学习者周边的家人、友人、同窗、导师以及MOOC平台提供方，乃至学习者的社交圈等多元数据渠道。然而，这些数据中仅有少数被MOOC教育系统所收录，且未经过任何分析或整理，从而使得数据的价值未能得到充分利用。

这些信息资料大体上可归纳为三个类别：首先是结构化数据，其次是半结构化数据，最后是非结构化数据[3]。结构化数据主要源于学习者的注册资料、MOOC系统自动存储至数据库的学习数据表格、以及各类调查问卷等二维表格，这些数据的价值密度极高，最有可能被分析和应用；半结构化数据则主要来源于电子邮件、网页、网络日志等数据源；而非结构化数据则主要涉及与学习者相关的视频、音频、传感等数据。半结构化以及非结构化数据的密度并不高，这类数据信息的挖掘与处理往往依赖于大数据技术的支持，比如 Sqoop 这样的工具，还有专门适用于这一领域的处理方法。

2 大数据背景下MOOC教育的机遇与挑战

2.1 MOOC教育对传统教育的冲击

MOOC教育的兴起对传统教育体系造成了显著的影响，尤其是对于高层次的学习者而言，他们不再像以往那样依赖传统教育中的教师角色，甚至部分教师对此感到忧虑，担心自己可能会因此失去工作。这种影响主要体现在：

学生与教师的比例关系发生了逆转。在传统教育模式中，通常众多学生共同面对一位教师，导致他们能够享有的教育资源相对有限。然而，MOOC教育的兴起改变了这一状况，使得单个学生有机会同时面对多位教师，从而获得更加丰富和充足的教育资源。

工具种类丰富多样。MOOC课程能够整合众多社交网络工具以及数字化学习资源，进而使得学习工具种类更加繁多，学习资源内容更加丰富。

课程操作简便，得益于互联网的强大支持，它打破了时间和地域的界限，使得学员即便在家中也能轻松获取国内外知名学府的优质教育资源。

MOOC课程的学习完全由学生自主选择是否参与，他们可以自行决定学习的具体时间，这样的安排让学生的学习日程更加灵活。与此同时，这也对学生的自主学习能力提出了更高的要求。

课程面向的群体更加广泛。它打破了传统教育在实体教室上的局限，能够满足大量课程学习者的学习需求。

2.2 当前MOOC教育所面临的挑战

MOOC作为一种新兴的教育模式，相较于传统教育，拥有诸多独特的优势。然而，它的发展也面临着一些劣势，这些劣势在一定程度上制约了它的快速成长。在这些劣势中，学习者缺乏个性化的学习体验尤为突出，这一问题尤为严重。在传统的教学模式下，教师和学生进行面对面的交流，学生的行为举止以及学习状况大多受到教师的监管。教师能够依据实际情况对学习者的学习进行有目的的引导，学习者则能依据教师的提示及时调整学习策略，这样便使得学习过程更加具有目的性。MOOC教育虽然能够借助网络技术实现师生间的直接交流，然而实际效果并不尽如人意。教师往往难以对学生的具体状况进行及时掌握，进而无法提出针对性的解决方案。同时，教师也难以准确把握学生所需的具体课程内容。

MOOC教育在很大程度上依赖学习者的自我驱动力，这往往使得学习者连自己的学习状况都难以把握，容易忽视诸多关键的学习信息，比如学习内容间的关联、学习深度、学习计划的制定、阶段性的学习目标以及后续的学习内容等，这些问题都可能导致学习缺乏明确的方向。

2.3 大数据给MOOC教育提供机遇

大数据推动了学习的个性化进程。据美国教育部发布的简报显示，大数据在教育中的应用主要集中在学习分析（LA）和教育数据挖掘（EDM）两大领域[4]。这两者在教育技术领域的应用，旨在推动个性化学习和自适应学习环境的研发。基于大数据，LA和EDM能够深入分析学习者的需求和特性，进而使学习更加个性化[5]。

3 大数据在MOOC网络教育产业的应用路线

MOOC教育产业若想在激烈的市场竞争中保持优势，必须依靠数据来推动其发展进程。大数据在新兴领域的应用，需历经从无意识到初步认识，再到试验阶段，进而发现产业机遇，引发产业变革，最终推动产业发展的漫长历程。图1展示了这一过程。

在运用大数据的过程中，必须将之与既有的数据收集、储存及计算方式相融合，并且借助前沿的大数据技术，确保结构化、半结构化和非结构化数据得到全面而有效的利用。

在数据收集环节，我们可以根据实际情况选择使用Flume、Sqoop等工具。这些工具各具特色，比如Flume，这个在2009年7月开源的日志系统，其内置组件十分丰富，用户无需额外开发即可轻松使用。它是一个开源的日志搜集平台，并且在内部已经得到了广泛的应用。它能从不同日志源头搜集数据，并将这些数据保存在一个中心存储系统中，便于进行集中的统计分析。Sqoop是一款用于在关系型数据库管理系统（RDBMS）与分布式文件系统（HDFS）之间传输数据的工具。作为一个开源项目，Sqoop的源代码能够支持从多种异构数据库中导入数据至统一的云计算平台，其操作流程简便易行。这实际上是一个数据搜集平台，它具备将不同种类的数据汇总并转化为便于处理格式的文件，并将这些文件存储于HDFS中以便进行多样化操作的能力。同时，该系统还内置了众多功能，旨在辅助数据的搜集与整理。

在存储环节，随着大数据时代的到来，数据规模发生了显著变化，从以往的GB、TB级别跃升至PB、ZB乃至更高的量级。与此同时，为了提升处理速度，处理模式也从原先的集中式转变为分布式。因此，面对海量的数据，我们不仅需要考虑采用传统的数据库管理系统，例如SQL等，还必须采用最新的数据存储技术以及相应的存储处理系统。国内外众多大型企业对数据抱有无尽的渴求，他们不遗余力地搜集各类数据，这是因为信息的不对称性能够持续转化为经济效益，而海量的信息则可通过数据分析手段获得。数据来源渠道繁多，数据格式亦日新月异，愈发复杂，随着时间的发展，数据量也在持续膨胀。因此，在数据存储及其计算方面，传统数据库很快便达到了极限。为此，诞生了[6]。其底层采用的分布式文件系统拥有出色的扩展能力，通过数据备份确保数据不会丢失并提升计算速度，此外还能容纳不同格式的数据。不仅如此，它还兼容多种计算框架，既能执行离线处理，也能实施在线实时计算。

在数据计算过程中，由于所采用的存储形式存在差异，导致计算手段也有所不同。结构化的二维表格数据呈现规则性，处理起来相对便捷，通常对传统结构化数据可实现即时计算；然而，对于半结构化或非结构化数据，则需先行进行汇总与分析，随后再进行相应的处理。

最终，在数据处理环节的末期，我们会依据具体的应用需求，将计算与汇总得出的分析成果，分别导入到各个子系统中。在慕课（MOOC）教育领域，对客户的个性化分析，实则是在对学习者的个性化分析基础上，实施定制化的教育服务，并制定出专属的学习计划。此外，我们还能利用数据计算得出的结果，开展课程推广的市场分析，并为客户提供详尽的统计数据查询以及学习者的管理服务，即客户管理。数据应用的过程如图2所示。

4 总结

MOOC网络教育领域，大数据的生成是持续不断的，此类数据的含金量显著高于社交网络数据，这主要是因为它们更具针对性，专注于学习者的学习过程。因此，深入挖掘这些数据的价值显得尤为关键。网络学习中的节点数据与交互数据，尽管其价值密度不高，但通过不断收集和计算这些数据，对于学习者的个性化分析仍能发挥显著影响。教育行业是大数据应用的主要领域，它对于实现学习者个性化教育、优化人才结构以及提升个人社会适应能力等方面，均能提供重要支持。

在大数据应用领域，保护学习者的个人信息成为众人关注的焦点，然而，这也成为了一个难以回避的难题。教育管理部门需依据法律法规，出台相应的指导性政策，确保大数据得以恰当利用，同时减少法律上的纷争；此外，还需积极推动与大数据企业的合作，以获取更多高价值密度数据，为数据分析提供充足的支持；最终，还需不断加强大数据的收集、分析和处理技术。这些举措是确保大数据在慕课教育领域持续产生积极影响的不可或缺的保障措施。

参考文献

熊丙奇在《基础教育论坛》2013年第8期发表的文章中指出，我国教育领域所背负的债务尚未得到彻底的弥补。

陈响园与张权伟共同探讨，在大数据时代背景下，中国交通广播面临的挑战与机遇，并以杭州交通经济广播91.8电台为案例进行分析，发表在《现代传播》2014年第3期，页码为130。

谢华成与陈向东共同发表了一篇关于云存储非结构化数据存取的论文，该文发表在2012年第32卷第7期的《计算机应用》杂志上，页码范围从1924至1928页，以及1942页。

美国，美国，以及相关数据，共同构成了一个重要议题的简报[电子书/在线].（发布于2013年5月20日）.可在以下链接中查阅：http：/////files/2012/03/edm-la-brief.pdf.

祝智庭与管珏琪共同撰写的文章，题为“网络学习空间人人通”建设框架，发表于2013年第10期的《中国电化教育》杂志，页码为6至12。