沉浸式学习促进教育发展:转变 UI — 用今天的技术设计明天的交互界面



随着英特尔® 实感™ 技术对交互式学习增强，真实和虚拟世界之间的区别消失

作者：John Tyrrell

了解更多有关英特尔实感技术，请点击：https://software.intel.com/zh-cn/



触摸和手势控制、图片识别和增强现实 (AR) 融入各式各样的教育应用和玩具，将虚拟和现实世界交融在一起，创造出即使成年人也难以理解的世界。 英特尔® 实感™ 技术等日益开放和复杂的技术正在推动这些变化，而且随着设备不断推出新特性，界限变得越来越模糊。 结果创造了一个新型的娱乐和学习世界，其中虚拟和现实的区别越来越模糊。




3D4Medical、PlayTales 和 Scholastic 是首批尝试在教育和学习领域部署英特尔实感技术的开发团队。 他们与英特尔密切合作，探索技术潜力并克服技术障碍，其即将推出的应用和产品将为儿童和成年人同时带来新一轮交互式创新。

感知治疗

交互式学习不仅适用于面向儿童的交互式应用，还适用于许多其他应用。 总部位于爱尔兰的
3D4Medical 开发了跨解剖、健康和健身以及医疗参考等平台的应用。 3D4Medical Essential Anatomy* （图 1）已经过四代更新，目前是 Windows*、Android* 和 iOS* 中最畅销的医学应用。



图 1： Essential Anatomy
截图
该团队目前正在努力利用英特尔实感技术的优势，以满足医疗空间内使用的应用的严格需求。 3D4Medical 软件开发部门经理 Sergey Bushtyrkov 选择使用带有 Unity 插件的英特尔® 实感™ SDK，以便更轻松地实现在虚拟空间为肢体建模的预期结果。

Bushtyrkov 解释：“英特尔® 实感™ 3D 摄像头和英特尔实感 SDK 可提供信息以创建您所需的最终的商业应用，而不只是数据。 我们需要一个 3D 引擎创建具有吸引力的模型，因此我们使用 Unity 创建了一个环境来操作双手。”

绘制人体四肢和关节的精细程度在医疗环境中具有非常重要的意义。 Bushtyrkov 目前正在集中开发自动精确映射手部的特性，其功能将远超过多数由手势来控制的应用。 Bushtyrkov 表示：“摄像头可以捕获手部特定的点，并对其进行数字化处理。 该数据流包括手部每个点（共 22 个点）的坐标和旋转角度（图 2）。”



图 2： 
英特尔实感 3D 摄像头追踪的手部点
将原始数据转化为精确建模的虚拟手部是一个复杂的过程，它要求团队特别注意医疗应用所需的细节。 Bushtyrkov 表示：“我们创建人手的定性模型，将其与我们从英特尔实感 3D 摄像头获取的信息进行整合，使其活动并对其进行调整，极大推动了技术的发展。

Bushtyrkov 继续表示：“我们尝试应用到手部的数据准确性极具挑战性。 借助英特尔，我们解决了这一挑战，我们使用 Unity 引擎插入手部动画。”

3D4Medical 团队长期以来一直使用英特尔实感技术，确保一直使用最前沿的新兴技术来执行基本任务。 3D4Medical 业务发展部门副总裁 Niall Johnston 强调：“从我们合作的企业来看，我们在许多领域都保持技术领先。我们在早期开发阶段便采用了该技术，这于我们而言是一个宝贵的机会，因为我们可以研究能够使用它做什么。”

讲故事

总部位于西班牙的
PlayTales 早在 2012 年便开始在 Apple App Store 上出售交互式书籍，并很快成为市场领头羊。 该企业在全球各大知名品牌（包括加菲猫*、芝麻街* 和小王子）与自己的品牌
My New Baby* 的基础上开发了多款产品。 PlayTales 门店采用七种语言推出了 200 多种出版物，成为想购买交互式故事书的全球亲子的首选之地。

该团队积极倡导在其即将推出的 Wizard of Oz* 交互式立体书及其教育科学应用 Professor Garfield*
中使用英特尔实感技术（图 3）。 PlayTales 的首席执行官 Enrique Tapias 表示：“我们了解到英特尔的新技术后，觉得必须研究一下从体验、3D 显卡和交互方面能够为客户做哪些改进。”



图 3： 儿童用手在Professor Garfield 应用中操作蝴蝶
虽然英特尔实感技术还处于预发布阶段，PlayTales 获得的不仅是在产品中部署一项新技术， 还是一次与技术领先企业合作的机会。 PlayTales 的首席技术官 Pablo Benitez 表示：“在部署应用的过程中，英特尔同时开发了英特尔实感 SDK。 我们需要适应这一点。 好的一面是，我们可以第一手测试新特性。我们亲眼看到应用和 SDK 不断发展，提供出许多能够帮助我们增强交互的酷炫特性。 我们非常喜欢轮廓模式功能，因为它能够追踪距离摄像头最近的对象的轮廓。 我们利用该功能将用户的手部转换为游戏中的
3D 模型，绘制出一个手部形象。 借助它，用户可以使用自己的手绘制一个桶的形状接水，或用手指指引蝴蝶。”

行为变化

采用英特尔实感技术为 PlayTales 带来诸多显著优势。 Tapias 表示：“我们提前采用数年之后才会上市的技术， 这对我们非常重要。” Benitez 继续表示：“我们还提前了解了儿童的体验。 我们进行了自己的可用性测试，现在，英特尔焦点小组对我们的内容及英特尔实感技术的部署进行了测试，也为我们提供了诸多帮助。  在测试
Wizard of Oz 和 Professor Garfield 过程中，我们注意到，儿童在全新的 3D 世界中进行交互时，无法理解深奥的概念。 而且，他们总是离开摄像头的视野。 因此，我们部署了分步指导、教程和提示，以教授他们能够移动到哪里以及如何做。”

随着客户及其预期快速发展，PlayTales 利用这些洞察引领目前和未来的产品。 Tapias 表示：“孩子的行为变化非常快，这主要由于其获得的技术和设备所导致。 我认为，借助英特尔实感技术，孩子们将有更多选择。 孩子们不仅能够学习或阅读，还能够与内容交互，比如，在
Professor Garfield 中引导蝴蝶的移动。”

Tapias 及其团队认为英特尔实感技术带来的全新交互方式具有极大的潜力，同时认为需要细心控制每一项部署，向高标准完善，并根据不同的环境（学习或娱乐）进行调整。 对于 Tapias，前景无疑是乐观的： “英特尔实感技术绝对是未来几年内最重要的技术之一，它不仅适用于计算机和平板电脑，还适用于儿童使用的设备，如平板电脑和智能手机。”

神奇的 Scholastic

Scholastic 在儿童娱乐领域享有很高的声誉，其产品包括跨多平台的书籍、艾美奖获奖电视作品、视频游戏和交互式学习产品等。
Scholastic Media 数字产品部门主管 Jennifer Contrucci 表示：“我们将品牌主题和人物与技术相结合来生产内容。 我们使用技术是因为它能够带来很好的效果，而不是一种附加特性。”

该公司的许多品牌已经成为构成美国及其他国家儿童文化的一部分，包括 Clifford the Big Red Dog* 和 Magic School Bus*。 目前，该公司在
I Spy* 品牌中采用了英特尔实感技术，该品牌最初创建于 1992 年，是一系列儿童书籍，现在成为了交互式世界。



图 4：  [b]I Spy Pirate Ship 截图[/b]
I Spy Pirate Ship* （图 4） 是该品牌的新增内容，专门针对便携式一体机和 2 合 1 电脑设计。 Contrucci 表示：“该款应用采用了英特尔实感 SDK 中的许多特性，包括手势、手部张开-握住检测以及面部点追踪等。 您可以在游戏中感受到各种感知功能。”

儿童和摄像头

I Spy Pirate Ship 的一个活动是通过乌鸦巢穴中的望远镜寻找星体上躲藏的物体（图 5）。 当部署英特尔实感技术，以便追踪用户扫视天空时头部的运动情况时，该团队遇到了一些有趣的挑战。



图 5： I Spy Pirate Ship 的望远镜视图
Contrucci 解释：“因为孩子的运动不平稳且不受控制，所以我们无法在他们观看时持续检测到他们的方向。 我们将编程更改为点追踪。 现在，游戏将会寻找面部的特定点，比如鼻尖，结果证明非常有效。”

当用户发现一个物品时，将会停住来通知程序，这一看似简单的交互，为受众带来出色的体验。 Contrucci 表示：“结果证明，这对于孩子们来讲是一个神奇的体验，因为他们感觉自己真正处在乌鸦巢穴环境中，他们实际做的事情非常重要。”

对于 Contrucci，当用户面部停在特定位置时应用能够识别的能力具有很大的未来潜力。 她继续表示：“我们能够看到这种功能可以产生许多其他应用。 比如，如果一个幼儿正在看 eBook*，她在一张狮子图片上停住，这时候非常适合做出反应，提供动物的名称及描述。 这能够为幼儿提供“适时”的帮助。”

社交学习

对于交互性在教育过程中是否能够带来真正的优势的问题，英特尔游戏和教育产品经理 Ornit Gross 表示毋庸置疑。 “当提供活灵活现、沉浸式和有趣的教育材料时，能够帮助记忆， 帮助学习。”

Ornit 继续表示：“当初入该领域时，我们发现，许多因素可以共同作用，提供有效的学习体验。 其中之一是交互性 — 无论是与教师、朋友还是应用交互，只有交互才能够加深学习过程。”

虽然英特尔实感技术代表了一流的交互性技术，但是它只是其中一个因素。 Ornit 表示：“另一个因素是社交。 您不是自己学习，而是在一个团队中学习。 这是我们认为可以继续改进的部分，我们期待在下一代中看到这一改进。 主要是让儿童感受一对多而非一对一的体验，让他们认为自己在和朋友一起学习。”

全面支持

同时，英特尔实感技术从根本上对开发团队（最终对最终用户）与电脑和移动设备的交互带来突发式的转变，为其带来巨大价值。 Ornit 及其团队对挑战的渴望为其赢得丰厚的奖励。 “令我感到惊喜的是，开发人员了解到英特尔实感 SDK 能够同时适用于低级别数据和高级别数据后，他们随即利用所有的 SDK API 编写了自己的交互方式。 例如，SDK 能够追踪整个面部的 78 个特征，并可检测睁眼/闭眼和张嘴等面部表情。 开发人员将这些功能全部结合在一起，以便 SDK 能够发现用户做鬼脸。 再如手势识别。 英特尔实感
SDK 可追踪 22 个手部关节点和捏合手势；一位开发人员将这些 SDK API 进行整合，能够识别一种特殊的捏合手势，这种手势专为游戏的主要角色而设计。”

如英特尔所知，技术只是开始。 内容才是最重要的。 Contrucci 总结了 Scholastic 探索英特尔实感技术可能性的动机： “许多人认为，手势控制将是未来的一大浪潮，因为其带来的潜力不仅是儿童交互所需要的，而是自然操作所需要的。 当我们使用
I Spy Pirate Ship 来测试儿童的自然交互特征时，这对于他们而言是一个全新的体验， 非常令人兴奋。”

了解更多有关英特尔实感技术，请点击：https://software.intel.com/zh-cn/