AR界安卓在中国，Rokid引爆空间计算狂潮

AR界安卓在中国，Rokid引爆空间计算狂潮

文丨刘雨绮

你可能很难想象，在没有显示器、没有鼠标的空间里，只需要一副AR眼镜和一个袖珍控制台就可以完成一篇5000字的文章。

是的，8月26日，2023年Rokid新品发布会上，这样的一幕竟然真实发生。 会上，Rokid发布了消费级OST（光学透视）个人空间计算平台Rokid AR，包括Rokid Max Pro（售价4999元）和Rokid Pro（售价3999元）。

Rokid创始人兼CEO朱明明在发布会上表示：“让空间计算更自然地融入日常生活和工作中，让Rokid AR成为你的第一台空间计算机。”

这与人们以往对AR眼镜的理解有很大不同。 在此之前，AR眼镜一直“锁定”在娱乐场景，依靠影视和游戏两大支柱产业生存。 Rokid AR真正成为个人生产力工具，IM软件，写文章、写代码、搜索信息等，所有工作场景都可以用最新的硬件完成。

使用场景的拓展让AR设备从边缘化场景转向更具实际使用价值。 只有消费者愿意付费，整个AR产业链才会在消费市场进入良性循环。

自称有“社交恐惧症”的老板朱明明，是一个对产品和技术的完全掌控者。 他曾经在内部扼杀了两份产品设计稿，差点把产品部门逼疯。 但当产品部偷偷拿出设计好的产品时，朱明明立即下令将所有资源都分配到这款产品上。 “我只关心一个数据，就是用户使用时长。目前我们真实的用户使用时长接近一个半小时，周留存率超过20%。如果做到了这一点，用户自然就会增长”。

用户积累达到百万级也意味着AR产业进入软件体系和生态建设的第二阶段。 近年来，越来越多的系统厂商、应用软件厂商、内容厂商加入到AR生态建设中。

“一群疯子，一个梦想，十年。”

正如朱明明所说，Rokid从娱乐场景到生产力工具，用了10年时间。 这背后不仅是思维的飞跃，更是从硬件技术到软件技术乃至整个产业链的一大进步。 苹果和Rokid开启了第二阶段的AR竞赛，行业竞争也在加速。

单目SLAM，如何重新定义交互？

整个发布会中，最令人惊讶的不是Rokid Max Pro 76g的机身，而是它只有一个摄像头，居然可以完成SLAM（空间定位技术）、微手势交互、第一人称视角共享和视觉定位。 VPS能力等综合交互方式。

在经历了物理交互（手柄）、语音交互、手势交互之后，AR/VR设备正在向眼动追踪以及目前的多感官融合交互解决方案发展。

但多感官融合交互对硬件的要求更高。 除了满足基本需求外，还需要全方位、多角度地捕捉用户动作和手势，才能准确完成交互。

单摄像头完成SLAM交互有多难？

视觉SLAM方法包含两个模块，一是了解3D点的位置并进行基本定位； 另一种是更新3D点的位置。 无论采用哪一种链路或方式，单目都意味着只能选择一台摄像机，而且位置固定、角度固定，这对识别范围、跟踪速度和精度提出了巨大的挑战。

“业界认为单目SLAM不可思议，难以实现，”朱明明开玩笑说，“这或许也是对Rokid的肯定。”

目前，市面上为数不多的具有空间交互功能的AR眼镜都至少配备了三个摄像头来承担算法功能。 不同的视觉路线也形成了两大阵营：以Apple为代表的VST（视频透视）和以Rokid为代表的OST（光学透视）。

仍以 Apple Pro 为例，其采用 12 个摄像头“堆叠”快速定位捕捉、高精度全景感知和精确跟踪，并使用 VST 将外部世界通过摄像头显示在终端屏幕上。 实时拍摄，看看外面的世界。

但堆叠硬件进行交互的方式却增加了成本，价格翻倍。 同时也导致了两大实施问题：机器重量和批量生产难度。 这就是Apple Pro售价3499美元，并且要到2024年才会量产的根本原因。

Rokid所坚持的OST方案存在一定的技术壁垒。 由于管道设计复杂、显示屏可视角度有限、光学元件成本较高，在价格不大幅上涨的情况下，Rokid只能通过技术突破来降低叠加成本。

而业界认为“不可思议”的单目SLAM是如何实现的呢？ 会后，光锥智能与朱明明进行了深入交流，发现Rokid的“绝招”在于利用AI算法突破硬件壁垒。

朱明明介绍，虽然单目SLAM技术已经存在很长时间了，但从未在AR眼镜中得到应用。 手机的前置摄像头也采用了这种技术。 唯一的区别是：算法。

从AI到AR，这是一条看似跨越实则本质上融合的道路，但也正是因为Rokid这几年在AI领域的积累，通过多维度的视觉算法模型，包括视觉定位和增强和数字人类技术。 、2D/3D手势识别、OCR识别等技术让AI在特定场景得以落地。

例如，AR视觉定位和增强功能就是为了解决和突破单一用途的限制。 通过构建厘米级视觉图，可以将虚拟信息精确叠加融合在现实物体世界中，实现物体和场景的高精度三维重建。

Rokid副总裁、XR中心负责人王俊杰表示：“空间定位基于SLAM技术，然后可以在空间中进行稳定的自然交互。通过算法快速初始化只需1到2秒并建立映射空间。”

市场上大多数设备仍然采用双目方案，但双目融合也存在很多问题。 除了增加额外摄像头的成本之外，还需要不断使用算法来实时拟合两个摄像头的数据。 这会导致更复杂的问题。

从这一点来看，如果单目解决方案能够顺利进行，Rokid将率先踩到一个技术趋势。 此前，Rokid也是业内第一家主机制造商。 玻璃与主机分离的方案经行业经验证明是最优方案。

另外，在手势识别上，Rokid采用了微手势交互方式。 您可以用手指捏一下并选择； 您还可以通过左右滑动手势来切换正在浏览的界面或内容。 简单的捏合、滑动等逻辑定义更加自然、容易上手。

从我们的现场测试结果来看，Rokid目前可以实现双手徒手空间交互。 目前，Rokid的手势识别算法支持水平/空间轴旋转、亮/暗光等复杂场景识别，并且还具有丰富的可识别手势类型。 ，算法准确，整体识别率约为90%以上，并且具有毫秒级的识别响应能力和99%的可靠性保证。

Rokid表示，基于深度学习算法和大量实验数据，单目3D手势算法可以在移动端实时重建手部姿势参数，包括手部6DoF、手部关节点6DoF、手部Mesh信息，提供AR手势交互。 良好的算法基础。

目前，Rokid的手势识别可以实现3D空间中的多种操作，包括点、捏、抓、握、拖、拉等，完全可以满足AR交互应用的需求。 例如，戴上Rokid Max Pro，伸出手掌在眼前打开，即可调出菜单。

毕竟，要支撑如此复杂的算法结构，背后的功臣不仅是摄像头，还有“大脑”，那就是Rokid Pro的算力和性能。

口袋里的太空电脑

整个VR/AR行业一直存在着“算力、舒适度、价格”的不可能三角。 计算能力较高的设备往往较重、价格较高，而舒适度较高的轻量化设备却无法满足使用需求。

从现实来看，目前还没有“完美”的解决方案。 主流厂商都在努力寻找两者之间的平衡点。 市场上主流的解决方案有两类：一类以Apple为代表。 显示与计算一体化，外接电池； 另一种是以Rokid为代表的显示与计算分体设计。

苹果的一体化设计集成了两块微型OLED屏幕、多个摄像头、传感器、扬声器等组件，在显示效果、计算等方面更加高效，但也增加了机身本身的重量，导致只需连接电池外部。

Rokid坚持的分体式设计，最大限度地提高了耐磨性。 与Pro 454g的重量相比，76g眼镜的重量与普通眼镜相差无几； 同时，主机的计算能力也可以较少地受到空间资源的限制，同时在一定程度上避免了散热。 由其引起的不适。

总的来说，分体式路线可以实现眼镜的轻便度和主机的计算能力的最终双向发展。 也更加灵活，算力和眼镜技术路线的迭代可以异步进行。

Rokid Pro在分体式设计的基础上，升级了更高的算力，打造出一款集计算、影像、通讯等功能于一体的一体终端。 也是一款真正可以称为“生产力工具”终端的超级产品。

据光果智能介绍，Rokid Pro搭载高通骁龙XR2+，12G RAM+128G ROM，支持WIFI6/6E和BT5.1。 Pro的电池续航时间将是手机方案的两倍以上，同时还具有更好的散热和更高的性能，可以实现厘米级的6DoF跟踪精度和极低的MTP（to）渲染延迟。

公开信息显示， XR2+是高通推出的最新旗舰XR平台。 它可以实现50%的电池寿命和30%的散热性能提升，从而支持更小、更薄的设备，从而实现更丰富、更沉浸的体验。 。 同时，骁龙XR2+平台引入全新图像处理管道，可实现低于10毫秒的延迟，实现全彩视频透视MR体验。

从光锥智能的现场体验来看，无论是看电影、玩游戏，还是使用键盘进行工作和生产过程，尤其是在游戏的高频交互和战斗下，操作的流畅度和反应速度画面非常流畅。 滑。

值得一提的是，目前市面上的核心算法仍然是3DoF（三自由度跟踪），这意味着设备可以检测到向上、向前、向下三个方向的旋转，但无法检测到物体的空间位移。头部向前、向后、向左、向右。 。

升级后的Pro采用的6DoF算法不仅可以检测头部旋转引起的视野角度变化，还可以检测身体引起的“上、下、前、左、右”六个位移变化移动。

这个算法的升级更重要的是玩家的自由度。 比如3DoF算法下打僵尸时，范围是在你面前一定角度，但升级后，僵尸从360度出现，转身时僵尸打你脸的物理感觉超出了你的想象。前者的范围。

也就是说，不仅算力更高、体验更流畅，算力空间的扩展也带来了物理体验的巨大差异。

XR产品管理高级总监Said表示：“第一代 XR2+平台是赋能下一代XR体验的最佳选择。 为Rokid Pro提供了业界领先的平台，支持其在创建自己独特的AR应用生态系统。”

AR行业做iOS

当然，苹果手机之所以能够常年称霸手机市场，不仅仅是因为它的硬件，还有它的系统和生态系统。 通过软件系统培养用户习惯所建立的壁垒往往比硬件本身还要强大。

这是Rokid开发自己的AR空间操作系统的部分原因，但并不是全部原因。

今年3月的Rokid开放日上，Rokid正式上线——并发布了“AR空间创作平台灵境”，让每个人都可以在3D空间创作AR内容，人人都可以参与，彻底打破了AR创作的门槛。 让生态潜力爆发。

如果说单目SLAM、3D手势识别、骁龙XR+、灵晶平台都是利剑，那么只有通过自研系统才能释放出这些绝活。

简单来说，Rokid正在走一条前人未曾走过的路，而Rokid的理念是“软件定义一切”。 所有的软件都需要系统来承载和提供，才能发挥其价值。

围绕感知、理解、交互、呈现、协作和数字创作五个方面，在芯片优化、硬件设计、软件架构、AR算法和创作工具等多方面都进行了巨大升级，或者说是目前最先进的。完成一个。 一套AR时代的太空操作系统。

发布会上，Rokid还展示了自研系统带来的开放性和便捷性。 举几个明显的例子，Rokid基于自研系统和骁龙XR+平台，开发了多任务并行模式，打破了以往只能做一项任务的限制，实现了聊钉钉的场景，一边写代码，一边阅读文档。 ，可以同时实现和发挥大空间屏幕的优势，最大限度地提高生产效率。

另一个极具创新性的案例是Rokid基于其自主研发的系统重新定义了空间搜索。 朱明明表示，这打破了以往搜索信息的展示方式。 搜索结果的呈现不再是二维平面，而是存在于三维空间中。 “与问题最相关的结果会离你最近，有些相关的结果会出现在次要页面。越远，相关性越小。当然，你也可以把之前的结果划掉，动态选择你想要的结果。”

这样一来，未来感瞬间十足，也展现出了与第一阶段AR设备的本质区别。

可见，AR行业的开放生态已经开始进入第二阶段。 苹果和Rokid不仅在硬件方向上左右逢源，在行业系统软件和生态发展方面也同样如此。 通过硬件、算法、软件生态、开发者、用户和平台的共创，AR将在完全开放的生态中更快地走向快速发展的第二阶段。

Rokid系统研发总工程师史文峰表示：“操作系统通过面向服务的方式，将Rokid的语音识别、手势识别、SLAM等核心技术集成到系统服务中，并提供多种SDK供用户使用。开发者高效开发，比如Unity SDK，可以让Unity开发者（开发者申请通道：开放平台URL()）快速使用Rokid核心技术进行开发。”

从硬件到软件，从系统到生态，Rokid的发展路径有点像乔布斯时代的苹果。

“AR产业还处于黎明前。”朱明明说。