MR人机交互教学科研平台——技术方案

一、概述

1.1、技术背景

近年来,机械臂以其高效、精确、智能的工作性能,被越来越广泛的应用于国内先进制造领域,以国家创新驱动发展战略为引领,我国的机械臂市场已经步入繁荣发展的时期。在这样的行业背景下,将虚拟现实技术与机械臂技术相结合已经成为各科研院所当前研究的重点和热点,作为分析和研究机械臂的有力工具,MR人机交互教学科研平台在教学培训以及机器人实际应用中都发挥着重要的作用。

MR人机交互教学科研平台（以下简称系统）可以广泛的应用于工业制造、军事、教育、医学等领域，系统由机械臂、末端执行器、AR眼镜、数据手套等模块组成，通过学习该系统，可以掌握数量掌握软硬件的工作原理，并学习在不同场景下有效地操控机械臂完成任务，提高使用者的实践能力和操作技能。通过本套系统可以学习机器人技术、计算及图形学、人机共融技术、远程控制技术、虚拟现实技术、混合现实技术等技术，系统融合了人工智能、机器人、机器视觉等技术，以仿真、小型化应用、集成化开发再到创新设计，为院校和人才培养提供完整的应用、教学、科研解决方案。

（MR人机交互教学科研平台）

1.2、政策背景

机器人产业已成为当今国家高新技术产业和制造业的重要组成部分，是推动实体经济转型升级、提高制造业智能化水平、提升国家综合竞争力的重要手段之一。人机交互技术作为机器人产业中最核心的技术之一，在不断发展和完善。

一方面，国家政策的积极引导和支持，成为人机交互技术的发展重要保障。中国政府明确将机器人产业作为国家发展战略，多次发布机器人产业发展指南和政策文件，目的是促进机器人产业快速发展。同时，政府还加大对人机交互研发、产业化和应用的扶持力度，通过财政资金补贴、税收优惠、科研院所和企业联合研究等措施推动技术创新，形成产学研用一体化的良好局面。

省市	发布时间	政策名称	主要内容
上海	2022-10	上海打造未来产业创新高地发展壮大未来产业集群行动方案	加快超大模型向机器视觉、智能语音语义、自然语言处理、人机交互等领域应用，推动AI普惠化。
河北	2022-04	河北省人民政府办公厅关于印发河北省制造业高质量发展“十四五”规划的通知	建设“互联网+”人工智能研发平台，突破图像识别、语音识别、行为识别、智能感知、人机交互、智能机器人等人工智能（AI）关键技术。
河北	2018-04	河北省人民政府印发关于进一步扩大和升级信息消费持续释放内需潜力实施方案的通知	新一代人工智能产业培育工程。引进建设一批人工智能创新平台，加快推进以感知识别、知识计算、认知推理、运动执行、人机交互为重点的新一代人工智能关键共性技术的研发。
山西	2021-05	山西省人民政府关于印发山西省“十四五”新产品规划的通知	智能硬件及机器人领域，聚焦高效能人工智能芯片、超高速视觉技术等智能硬件关键领域，加快智能硬件升级及机器人研发生产，打造车载智能芯片、人机交互智能集成设备、大型矿井综合掘进机器人等新产品。
湖北	2021-02	省人民政府办公厅关于印发光谷科技创新大走廊发展战略规划（2021-2035年）的通知	加快发展人工智能操作系统、芯片等基础软硬件和智能系统解决方案，推动计算机视听觉、生物特征识别、新型人机交互、智能决策控制等技术创新应用，配套发展海量数据存储、数据挖掘、数据交易与云计算服务。
天津	2018-10	天津市人民政府办公厅关于印发天津市新一代人工智能产业发展三年行动计划（2018—2020年）的通知	实施智能终端产品产业化工程。加快突破关键技术，研发并应用一批具备复杂环境感知、智能人机交互、灵活精准控制、群体实时协同等特征的智能化终端设备，推进智能终端产品多元化发展，提升终端智能化水平。

另一方面，人机交互技术的应用领域和需求日益广泛和迫切，成为推动技术发展的重要动力。随着机器人技术的广泛应用和普及，人机交互技术的研究和应用需求也越来越广泛。目前，人机交互技术已被广泛应用于军事、安防、医疗、古建筑保护、生产制造、城市交通等多个领域，为解决人类社会面临的各种复杂任务提供了强有力的技术支持。尤其是随着人口老龄化和智能家居的普及，人机交互技术在家庭与医疗领域的应用前景广泛，可以提高生活质量和医疗服务的效率，改善人居环境和医疗资源短缺的问题。

1.3、应用方向

(1)工程类课程教学：

应用：在工程类课程中，可以利用混合人机交互系统和机械臂技术，让学生通过操作机械臂来实践课程中学到的理论知识，如控制系统、自动化技术等。

价值：增强学生的动手能力和实践能力，加深对理论知识的理解和应用。

(2)科学实验教学：

应用：在科学实验课程中，可以利用混合人机交互系统和机械臂技术进行虚拟实验，让学生在虚拟环境中进行实验操作，如物理实验、化学实验等。

价值：提供安全、可重复的实验环境，激发学生的实验兴趣和探索精神，培养科学思维和实验技能。

(3)编程教育：

应用：在编程教育中，可以让学生编写代码控制机械臂的运动，实现各种任务，如路径规划、物体抓取等。

价值：培养学生的编程能力和逻辑思维，加深对编程原理和算法的理解，提高解决问题的能力。

(4)职业技能培训：

应用：在职业技能培训中，可以利用混合人机交互系统和机械臂技术进行模拟操作，如焊接、组装等，让学生熟练掌握相关技能。

价值：提供安全、可控的模拟环境，让学生在实践中学习，加速技能的掌握和应用。

(5)跨学科项目学习：

应用：在跨学科项目学习中，可以将混合人机交互系统和机械臂技术结合起来，让学生在跨学科的实践项目中进行合作和创新，如机器人设计、智能控制等。

价值：培养学生的团队合作能力和创新意识，提高解决跨学科问题的能力，促进学科之间的交叉融合。

(6)医疗手术和康复：

应用：在手术室中，医生可以利用混合人机交互系统操作机械臂进行精确的手术操作，通过虚拟现实技术观察内部结构，实时反馈手术过程，并减少对患者的侵入性。此外，在康复过程中，机械臂可以帮助患者进行康复训练。

价值：提高手术精准度、降低手术风险，加速康复过程，提高治疗效果。

(7)建筑施工与维护：

应用：在建筑施工中，混合人机交互系统可以通过机械臂进行高空或危险环境下的施工，如高空清洁、梁柱安装等；在建筑维护中，机械臂可以用于定期检查和维护高楼外墙或其他难以接近的区域。

价值：提高施工效率、降低工人风险，延长建筑物使用寿命，减少维护成本。

(8)环境监测与控制：

应用：利用机械臂配合混合人机交互系统，可以进行环境监测和控制，如在污水管道中进行检查、在有毒气体环境中进行采样、在核辐射区域进行测量等。

价值：减少人员暴露于危险环境的风险，提高监测和控制的准确性和效率。

(9)军事应用：

应用：在军事领域，混合人机交互系统与机械臂可以用于爆炸品拆除、无人侦察、救援行动等任务，以减少对士兵的风险。

价值：提高作战效率、降低人员伤亡，增强军队的战斗力和应急响应能力。

(10)灾难性应急响应:

应用：在面对自然灾害、化学泄露等紧急情况时，传统的机械臂操作需要操作者对遥控设备有深入的理解和技能。现今，通过混合人机交互系统，操作者可以依赖于直观的沉浸式界面，实时评估和响应环境变化，并且如同身临其境操作双手般操作机械臂，确保快速、有效的介入。

价值：提供更加即时、准确的救援，减少人员伤害和财物损失。对复杂和未知地形可以即时感知，适合非标准化作业场景。

(11)价值高风险环境作业:

应用：在放射性、生化环境或高温区域，操作者的直接介入可能导致健康风险。利用景深摄像机配合AR技术，我们可以获取到真实环境的三维视觉信息，为操作者提供深度感知，使其能在远离危险的地方进行操作。

价值：减少人员直接暴露于高风险环境，确保作业的安全与准确性。

(12)先进制造与生产线升级:

应用：随着新一代信息技术与制造业的深度融合，数字孪生成为智能制造领域的研究热点，被认为是实现智能工厂的新手段和重要技术支撑。在高端装配生产线中引入数字孪生技术可以有效帮助设计和制造人员及时发现设计中的潜在问题，并建立高端装配生产线虚拟交互环境和载体，对高端装配生产线的工作流程、信息流和物流进行实时、精确的仿真分析，从而提高装配生产线的质量和产品制造性能。

价值：大幅提升柔性制造，可以在虚拟空间预测和指导，降低缺陷率，进而提升产值；对于小批量、多品种不适合标准自动化产线的可以大幅提升生产效率。

二、产品介绍

2.1、产品优势

混合现实（MR）控制机械臂系统集沉浸式体验、实时交互、空间感知、远程操作、增强现实辅助、多功能性和用户友好性于一身。通过头戴式显示器等设备，操作者可以沉浸于虚拟与真实的交织中，实时交互和控制机械臂，准确感知环境并进行远程操作，同时在真实世界中获得增强现实的辅助指导。这种系统不仅适用于工业制造的自动化控制，还可在医学手术辅助、教育培训等领域发挥作用。其用户友好性和多功能性为各行业带来了更安全、高效、直观的操作体验，展现了混合现实技术在机械臂控制领域的巨大潜力。该系统特点如下：

沉浸式体验：MR技术可以提供沉浸式的体验，操作者通过头戴式显示器或其他设备可以同时看到虚拟环境和真实世界，使操作更加直观、真实。

实时交互：MR系统能够实现实时交互，操作者可以通过手势、语音或其他方式与虚拟环境和机械臂进行交互，实现实时的控制和反馈。

空间感知：MR系统可以实现对环境的空间感知和建模，操作者可以通过虚拟现实技术在真实世界中对机械臂的运动轨迹和目标位置进行准确定位和控制。

远程操作：MR技术使得远程操作成为可能，操作者可以通过网络远程监控和控制机械臂，即使不在现场也能进行操作，这在一些危险环境或无法直接到达的场所具有重要意义。

增强现实辅助：MR系统可以提供增强现实（MR）辅助功能，操作者可以通过头戴式显示器在真实世界中看到虚拟的操作指导或信息提示，帮助实现更精准的操作和更高效的工作。

多功能性：MR系统可以结合多种传感器和技术，实现不同场景下的多功能操作，例如在工业制造中实现机械臂的自动化控制，或在医学领域中实现手术辅助和康复训练等。

用户友好性：MR系统的界面设计和交互方式通常更加直观和用户友好，使得操作者可以更容易上手和使用，减少操作失误和培训成本。

2.2、设备组成

（1）混合现实系统

使用头戴式混合现实设备（如VR、AR眼镜）提供虚拟和真实世界的融合体验。显示实时机器人反馈、任务信息和环境数据。

（2）人机交互系统

利用手势、语音、触摸等多种交互方式，以实现用户与机器人的直观沟通。集成自然语言处理和语音识别技术，使用户能够自然地与机器人进行对话。

（3）机器人系统

集成机器人平台，具备运动控制、感知和执行任务的能力。采用先进的自主导航系统，以在不同环境中移动。

（4）远程协同系统

通过云服务实现远程协同，允许多用户同时监控和操作机器人。提供实时视频流、数据传输和协同编辑功能，使团队成员能够共同完成任务。

2.3、工作流程

三、配套资源

3.1、课程资源

(1)计算机图形学

(2)计算机视觉

(3)虚拟现实和增强现实

(4)人机交互技术

(5)机器人技术

(6)人工智能

(7)智能制造 

(8)人机共融体

3.2、案例DEOM

(1)混合现实系统控制RM65-B机械臂；

(2)混合现实系统控制RM65-B机械臂+灵巧手/夹爪；

(3)混合现实系统、穿戴设备控制RM65-B机械臂；

(4)混合现实下虚实机械臂同步运行；

(5)混合现实环境下人机协作精确操作；

4.2、HoloLens2

(1)显示器光学：透明全息透镜（波导）

(2)显示器分辨率：2k 3:2 光引擎

(3)显示器全息密度：>2.5k 辐射点（每个弧度的光点）

(4)显示器基于眼睛位置的呈现：基于眼睛位置的 3D 显示优化

(5)头部追踪传感器：4 台可见光摄像机

(6)眼动追踪传感器：2 台红外摄像机

(7)深度传感器：1-MP 飞行时间 (ToF) 深度传感器

(8)IMU传感器：加速度计、陀螺仪、磁强计

(9)相机：8MP 静止图像，1080p30 视频

(10)麦克风阵列：5 声道

(11)扬声器：内置空间音响 

(12)手动追踪：双手完全铰接模型，直接操作

(13)眼动追踪：实时追踪

(14)语音：设备上的命令和控制，具有互联网连接的自然语言

(15)Windows Hello：具有虹膜识别功能的企业级安全性

(16)空间映射：实时环境网格

(17)混合现实捕获：混合全息图和物理环境照片和视频

(18)SoC：高通骁龙 850 计算平台

(19)HPU：第 2 代定制全息处理单元

(20)内存/存储：4-GB LPDDR4x 系统 DRAM/64-GB UFS 2.1

(21)Wi-Fi：Wi-Fi 5 (802.11ac 2x2)

(22)USB：USB C型

(23)支持佩戴眼镜：是

(24)重量：566 克

4.3、五指灵巧手

(1)控制接口：RS485

(2)自由度：6

(3)关节数：12

(4)重量：540g

(5)工作电压：24V

(6)静态电流：0.1A

(7)最大电流：2A

(8)重复定位精度：±0.2mm

(9)拇指最大抓握力：15N

(10)四指最大抓握力：10N

(11)抓握力分辨率：0.5N

(12)拇指横向旋转范围：＞65°

(13)拇指侧摆速度：107°/s

(14)拇指弯曲速度：70°/s

(15)四指弯曲速度：260°/s

4.4、数据手套

(1)信号延迟：≤7.5毫秒

(2)手指传感器类型：绝对位置，3轴旋转

(3)传感器采样率：120赫兹

(4)电池使用时间：3小时（可更换）

(5)充电时间：2小时 USB Type-C

(6)重量：138克（含电池）

(7)有线通信：USB Type-C

(8)无线通信：Bluetooth Low Energy 5

(9)无线范围：长达15米

(10)支持的操作系统：Windows10/11

(11)手指附件：指套、手指绑带

(12)织物信息：均码（可清洗）

5.4、配置清单一览表

类别	型号	单位	数量
超轻量仿人机械臂	RM65-B	台	1
末端配件	RM56DFX-2R/RM56DFX-2L	个	1
视觉	HoloLens2	台	1
配件	RMGD	套	1
软件	DTMRV1.0	套	1
虚拟现实手套	OptiTrack Metagloves	套	1
显示器（选配）	-	1	套
无线鼠标（选配）	-	1	套

六、方案提供商

6.1、公司介绍

睿尔曼是一家专注于超轻量仿人机械臂研发、生产及销售的国家高新技术企业，总部位于北京市石景山首特产业园，工厂建于江苏省常州科教城智能数字产业园内，下属另设有睿尔曼智能科技（深圳）有限公司全资子公司。公司集研发、生产、办公于一体，年综合产能20000 台以上。

自2010年起，睿尔曼便踏上了超轻量仿人机械臂的创新之旅，作为该领域的引领者，它始终坚守着产品研发与技术创新的初心。其核心团队汇聚了中国早期机器人底层技术研发的精英，他们在这一领域深耕细作，积累了超过十年的深厚底蕴和丰富经验。正是这样的团队，能够从基因层面进行机械臂的原型设计和底层零部件的自主研发，从而在控制器、驱动器、电机、减速器这四大核心零部件上实现了革命性的突破，打造出具有完全自主知识产权的超轻量仿人机械臂。

如今，睿尔曼的产品已广泛应用于新零售、新餐饮、商业服务、智能巡检、医疗健康、检验检疫、教育科研、工业生产、航空航天等多个领域，其智能、通用模块化的机械臂本体，融合了先进的软硬件与人机交互技术，为客户提供了高性价比、高可靠性、易操作的超轻量仿人机械臂及集成解决方案。

睿尔曼不仅拥有多年的机器人产品研发经验，更与北京航空航天大学、北京理工大学、中国农业大学等多所知名高校建立了紧密的战略合作关系，共同搭建了一个全方位、专业互补的创新研发平台。它始终怀揣着一个梦想：致力于让机械臂成为通用的智能化工具，让机器人走入千家万户，为美好生活助一臂之力！

6.2、公司资质

北京市“专精特新”中小企业

高新技术企业

world检测认证

质量管理体系认证

CE认证

可靠性检测认证

已申请专利113项、发明专利57项、实用新型专利25项、授权专利45项、外观专利7项

6.3、产学合作

睿尔曼智能高度重视产学合作，旨在为各层次、各类型高校提供全套一站式解决方案与建设方案，目前已和清华大学、北京大学、中山大学等高校建立合作关系，以下是部分合作院校和合作案例。

合作院校（部分）

合作案例（部分）

合作单位：北京石油化工学院——人工智能研究院

 

合作项目：高质量应用型“人工智能”应用技术实验实训基地建设—智能机器人

合作单位：哈尔滨远东理工学院

 

合作项目：机器人实训室建设