跳转至

赋能儿童：创造人工智能驱动的增强现实体验

文章背景与核心概要

尽管人工智能驱动的增强现实（AR）技术在提升儿童学习体验方面潜力巨大，但目前的系统设计往往将儿童局限于被动的使用者角色，而非主动的创作者。为了改变这一现状，研究人员开发了 Capybara，这是一个基于 AR 的人工智能可视化编程环境。

Capybara 的核心在于通过文本生成 3D 模型、自动绑定（auto-rigging）和身体追踪技术，让儿童能够自主生成、定制并赋予 3D 虚拟角色动画。此外，该系统利用基于视觉的 AI 模型识别物理对象，使儿童能够编写交互逻辑，从而实现虚拟世界与现实世界的无缝连接。在美国和阿根廷进行的儿童用户研究表明，Capybara 成功赋予了儿童利用现代 AI 工具创作个性化且引人入胜的 AR 体验的能力。

论文元数据 (Paper Metadata)

作者 (Authors)

  • Lei Zhang
  • Shuyao Zhou
  • Amna Liaqat
  • Tinney Mak
  • Brian Berengard
  • Emily Qian
  • Andrés Monroy-Hernández

摘要 (Abstract)

尽管人工智能驱动的增强现实（AR）技术在提升儿童学习体验方面潜力巨大，但目前的系统设计往往将儿童局限于被动的使用者角色，而非主动的创作者。我们介绍了 Capybara，这是一个基于 AR 的人工智能可视化编程环境，旨在赋能儿童创建、定制并编程叠加在物理世界中的 3D 角色。Capybara 允许儿童使用文本生成 3D 模型（text-to-3D）生成虚拟角色和配件，并通过自动绑定和身体追踪技术为这些角色制作动画。此外，我们的系统利用基于视觉的 AI 模型来识别物理对象，使儿童能够编写虚拟角色与物理环境之间的交互行为。我们通过一系列新颖的 AR 体验展示了 Capybara 的表现力，并在美国和阿根廷对 20 名儿童进行了用户研究。研究结果表明，Capybara 能够赋能儿童利用 AI 技术创作出个性化且引人入胜的 AR 体验，从而无缝连接虚拟与现实世界。

Despite their potential to enhance children's learning experiences, AI-enabled AR technologies are predominantly used in ways that position children as consumers rather than creators. We introduce Capybara, an AR-based and AI-powered visual programming environment that empowers children to create, customize, and program 3D characters overlaid onto the physical world. Capybara enables children to create virtual characters and accessories using text-to-3D generative AI models, and to animate these characters through auto-rigging and body tracking. In addition, our system employs vision-based AI models to recognize physical objects, allowing children to program interactive behaviors between virtual characters and their physical surroundings. We demonstrate the expressiveness of Capybara through a set of novel AR experiences. We conducted user studies with 20 children in the United States and Argentina. Our findings suggest that Capybara can empower children to harness AI in authoring personalized and engaging AR experiences that seamlessly bridge the virtual and physical worlds.

获取资源 (Access & Resources)