【睿尔曼-RealMan】体感跟随教学科研平台——技术方案

Alvin 2024-05-15

一、功能概述

1.1、功能简介

体感跟随教学科研平台旨在为机器人创新教育与人工智能技术教学提供强大的应用平台，该平台全自主研发，能够实现人体姿态识别与机械臂视觉跟随运动功能和应用，为教学和科研提供基础平台。

实训平台可开展虚拟仿真及真实场景实验，满足机器人操作系统及机器人运动学等课程教学实训要求，契合高校机器人工程、人工智能等专业建设需求；此外，体感跟随具备强劲综合性能和广泛适用性，内置丰富算法接口和二次开发示例，为科研人员提供了广阔的探索空间与实践载体，是高校专业建设与学科教育、科研院所开展前沿课题研究、理论实验和应用开发的首选平台。

（体感跟随技术实训平台、图片仅供参考）

1.2、产品应用案例

体感跟随教学科研平台针对教学演示、科研实验等应用场景，提供系统化解决方案，实现人工智能技术结合机器人的应用与教学，满足教学科研、专业授课等方面需求。

（教学科研）

1.3、产品特点

1.3.1、产品背景

2022年7月，科技部、教育部、工业和信息化部、交通运输部、农业农村部、国家卫生健康委六部委联合引发《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》通知，指出为贯彻落实党中央、国务院关于推动人工智能发展的决策部署，统筹推进人工智能场景创新，着力解决人工智能重大应用和产业化问题，全面提升人工智能发展质量和水平，更好支撑高质量发展，按照《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》《新一代人工智能发展规划》等要求，全面推动人工智能场景创新对于促进人工智能更高水平应用，更好支撑国家经济高质量发展。

中央政策着力打造高端高效智能经济培育、安全便捷智能社会建设、高水平科研活动、国家重大活动和重大工程等重要场景应用，培育壮大场景创新专业机构，鼓励高校院所参与场景创新。体感跟随教学科研平台面向当前社会发展，科研进步、人才培育的关键需求，旨在为人工智能教学教研提供提供综合实训平台，全面助力人工智能、机器人产业发展和人才储备。

1.3.2、产品优势

体感跟随拥有精密的机械臂执行结构及强大的边缘计算平台，同时满足教学实训及科研实验的硬件需求，是融合应用与科教一体的平台，其支持各类型高校人工智能、机器人工程专业实践、课程设计、毕业设计等实训环节的教学，也满足各科研院所基础实验测试及二次开发需求，实训平台主要有以下优势：

(1)开发便捷性：体感跟随内嵌完备的深度学习基础环境，如CUDA、torch、tensorflow、torchvision、python等深度学习基础环境，能够适配各类型的开发任务，极大地减少使用人员与开发人员的环境配置耗时，除实训台自带的机械臂视觉跟随运动示例外，能够快速实现多种功能性任务开发。

(2)智能化技术支持：体感跟随集成了人工智能技术，例如机器视觉、深度学习及大模型等前沿技术，能够实现环境感知和智能控制，并且对于前沿的人工智能技术具备良好的适配性，各类最新智能算法及AI解决方案能够轻松在平台上验证，对于高层次人才培养和深度科研探索有坚实的基础支撑。传统设备通常缺乏智能化支持，限制了实验的深度和创新性。

(3)灵活性：体感跟随结构设计灵活、体型小巧、性能精悍，可以在不同工作场景下自由移动和操作，适用于多种实验和项目需求。较通常固定在实验室中的传统设备，其灵活性和移动性得到巨幅提升，减少设备操作耗时。

(4)跨学科应用：体感跟随涵盖了人工智能、控制工程、机器人工程等多个学科领域的知识和技术，可以为跨学科的实验和项目提供支持。传统工科实训设备往往局限于特定学科领域，无法满足跨学科教学需求。

(5)实践创新教学：体感跟随为学生提供了实践创新的平台，可以进行项目设计、编程控制、系统集成等实践操作，培养学生的创新能力和实践技能。较传统工科实训设备，具备丰富的创新性和多样的实践性，极大地激发学生的学习兴趣和动手能力。

(6)设备迭代更新：体感跟随采用模块化组成思想，每个组成部分都能够单独运行使用，因此后续升级与适配十分方便，用户无需整套返厂更新，使用配套器件即可更新硬件与软件。传统工科实训设备通常处于固定安装状态，设备使用效果具有“时效性”。

(7)教学资料配套：体感跟随教学科研平台配套各类型教学资料，包括实训文档、开发文档、实训讲解视频、二次开发实践视频以及实践讲师现场教学等全面的教学支撑，为客户群体提供人性化与定制化的使用与开发服务，旨在全面解决客户端教学应用问题。

(8)实训平台生态圈：体感跟随教学科研平台提供全方位的生态圈，用户可自行定制与替换各部件，以便完成特定的场景需求，并且体感跟随教学科研平台拥有独立的产品生态论坛，用户可以随时在论坛查找相关生态产品资料以及开发资料，极大地减少客户二次开发应用难度及周期。

1.4、配套资源

体感跟随配套全面的实训内容与资料，为教育客户群体提供涵盖机器人工程、人工智能、等专业的课程教学与实训实验资源，并且提供产品论坛，用户可在论坛中交流与查找相关资料，产品的更新资料也会同步至论坛中，方便用户查收。

1.4.1、课程资源

体感跟随教学科研平台提供系统性的教学实验实训内容，包括实训文档及实训视频，深入浅出的讲解体感跟随相关原理与开发流程，以下是部分课程资源概览：

主题	课程	内容（简述）	课时
中控系统教学实训	Linux系统基础	1.Linux系统说明； 2.Linux系统安装； 3.常用Linux命令说明；	4
中控系统教学实训	Python基础	1.Python语言说明； 2.Python环境搭建； 3.Python基础语法； 4.Python数据类型； 5.Python函数说明； 6.Python中Socket网络编程；	4
中控系统教学实训	ROS操作系统	1.ROS简介及ROS总体框架； 2.ROS安装及测试； 3.ROS中话题topic、服务Service、消息等介绍； 4.基于C++编写各节点； 5.Launch文件说明及使用； 6.TF变换说明； 7.Rqt、RVIZ、Gazebo、Cvbridge工具介绍；	16
视觉系统教学实训	视觉传感器认知	1.视觉传感器简介及分类； 2.视觉传感器优缺点分析； 3.视觉传感器应用场景分析；	4
视觉系统教学实训	深度相机技术应用	1.深度相机简介及基础使用； 2.深度相机获取三维坐标；	4
视觉系统教学实训	视觉识别二维码及颜色	1.Opencv简介及环境安装； 2.基于Opencv的颜色识别实践； 3.基于Opencv的二维码识别实践；	6
视觉系统教学实训	深度学习及视觉识别技术	1.深度学习简介； 2.mediapipe框架介绍及使用； 3.人体姿态识别应用； 4.机械臂视觉跟随运动案例教学；	8
操作机构系统教学实训	执行机构本体	1.六轴机械臂简介及本体认知； 2.六轴机械臂通讯方法； 3.六轴机械臂示教器使用基础； 4.六轴机械臂示教器编程；	8
操作机构系统教学实训	机械臂仿真系统	1.ROS机器人操作系统简介及认知； 2.RVIZ中显示机械臂模型； 3.使用Moveit工具编程； 4.Moveit控制Gazebo中的仿真机械臂； 5.Moveit仿真避障规划；	16
操作机构系统教学实训	执行机构二次开发	1.JSON协议应用； 2.机械臂API应用； 3.机械臂透传移动控制； 4.在线编程及拖动轨迹文件编程；	16

主题

课程

内容（简述）

课时

中控系统教学实训

Linux系统基础

1.Linux系统说明；
2.Linux系统安装；
3.常用Linux命令说明；

中控系统教学实训

Python基础

1.Python语言说明；
2.Python环境搭建；
3.Python基础语法；
4.Python数据类型；
5.Python函数说明；
6.Python中Socket网络编程；

中控系统教学实训

ROS操作系统

1.ROS简介及ROS总体框架；
2.ROS安装及测试；
3.ROS中话题topic、服务Service、消息等介绍；
4.基于C++编写各节点；
5.Launch文件说明及使用；
6.TF变换说明；
7.Rqt、RVIZ、Gazebo、Cvbridge工具介绍；

视觉系统教学实训

视觉传感器认知

1.视觉传感器简介及分类；
2.视觉传感器优缺点分析；
3.视觉传感器应用场景分析；

视觉系统教学实训

深度相机技术应用

1.深度相机简介及基础使用；
2.深度相机获取三维坐标；

视觉系统教学实训

视觉识别二维码及颜色

1.Opencv简介及环境安装；
2.基于Opencv的颜色识别实践；
3.基于Opencv的二维码识别实践；

视觉系统教学实训

深度学习及视觉识别技术

1.深度学习简介；
2.mediapipe框架介绍及使用；
3.人体姿态识别应用；
4.机械臂视觉跟随运动案例教学；

操作机构系统教学实训

执行机构本体

1.六轴机械臂简介及本体认知；
2.六轴机械臂通讯方法；
3.六轴机械臂示教器使用基础；
4.六轴机械臂示教器编程；

操作机构系统教学实训

机械臂仿真系统

1.ROS机器人操作系统简介及认知；
2.RVIZ中显示机械臂模型；
3.使用Moveit工具编程；
4.Moveit控制Gazebo中的仿真机械臂；
5.Moveit仿真避障规划；

操作机构系统教学实训

执行机构二次开发

1.JSON协议应用；
2.机械臂API应用；
3.机械臂透传移动控制；
4.在线编程及拖动轨迹文件编程；

1.4.2、可开展实训内容

（1）机器人组成原理：体感跟随通识；

（2）安全规范：RM65-B机械臂安全操作规范；

（3）机械臂使用：机械臂基本运动指令和运动原理讲解及练习；

（4）操作流程：体感跟随运行流程示范与操作；

（5）机械臂控制：机械臂语言动作指令编程、外部IO控制、外部轴集成协同控制；

（6）机械臂运动学与动力学：深入理解机械臂的结构、运动学和动力学原理，以及如何应用这些知识进行精确控制和运动规划；

（7）深度学习基础：深度学习与CUDA基础环境配置、pytorch、tensorflow开发基础；

（8）视觉识别与目标跟踪：学习使用视觉传感器进行目标检测、识别和跟踪，为机器人赋予智能感知能力，实现更复杂的任务；

（9）机器人操作系统：基于体感跟随平台学习机器人操作系统ROS（Robot Operating System）与ROS2，掌握ROS通信原理，机器人功能开发原理，并利用ROS进行机器人虚拟仿真实验与真实控制；

（10）机器人二次开发：通过机器人各部分API接口、开放外部接口与ROS开源功能包适配各类外部器件，完成指定场景应用与特定功能实现；

1.4.3、教学资源与平台

体感跟随教学科研平台提供由浅入深的二次开发教学资源以及开发平台，用户可在官网论坛查找相关产品资料，并且开发人员会在论坛中分享二次开发示例源码、开发原理及经验，为用户提供二次开发的技术帮助。

部分教学资源截图如下：

教学资源图 1 机械臂实训手册

教学资源图 2 机械臂ROS实训手册

教学资源图 3 视觉识别实训文档

教学资源图 4 机械臂实训教学资料

教学资源图 5 基础教学资料

教学资源图 6 综合实训教学示例

在提供全套的实训资料外，还设置了产品论坛，旨在方便客户及时获取产品最新资料以及二次开发案例，全力辅助用户二次开发，形成良好的产品拓展与开发氛围。

论坛资源图

1.5、设备组成

（1）体感跟随技术实训平台是专门面向科研与教育培训领域的教学科研平台。集成了机器人工程与人工智能专业的各学科知识内容，学生可以利用平台学习掌握体感跟随理论知识，并在现有工作台上验证，帮助学生从理论知识上升到实际操作。此外，研究人员可以依托平台结合已有科研课题，完成科研实验与算法理论验证。

（2）机械臂系统：睿尔曼RM65系列超轻量机械臂，负载5kg自重7.2kg具有超高的负载自重比，无传统控制柜将控制器与机械臂完美融为一体，一体化机械臂仍自带丰富接口满足多种应用需求扩展，提供丰富的API函数库，便于二次开发。末端具备通用接口，灵活扩展，即插即用，一体化机械臂结构且自带丰富接口，满足多行业应用需求扩展。

（3）视觉系统：选用 Intel Realsense D435深度相机，可直接通过 USB3.0 供电和数据通信，能同时获取深度图像与彩色图像，有效距离0.11m~10m，可满足视觉感知环境需求。使用LX-224HV舵机作为头部旋转关节，可进行头部旋转和俯仰控制，扩大机器人的视野感知范围与操作空间。

（4）主控系统：使用Nvidia Jetson XAVIER NX 模组，该模组预装Ubuntu18.04 系统，配备6核Carmel架构@V8.2 64bit CPU，384 核Volta 架构的GPU及48个 TensorCore，能带来 21TOPS的INT8运算能力，尺寸只有90mm*103mm*35mm。主控模块是整个系统的控制中枢，主要负责给移动底盘、机械臂及其末端执行器发送指令，同时负责机器人系统各模块间的通讯。使用者可以在此主控控制体感跟随以及二次开发。

1.6、主要技术参数

(1)工作电压：DC24V

(2)末端输出：DC5V

(3)平台高度：850.5mm

(4)安全保护：碰撞检测、紧急停止等功能

(5)对外接口：网口、USB口、HDMI

(6)二次开发接口：python、json、matlab、ROS

1.7、工作流程

（流程图、仅供参考）

二、主要配置介绍

2.1、机械臂

睿尔曼RM65-B仿人机械臂自重7.2Kg，额定负载5Kg，臂展610mm，重复定位精度±0.05mm，具有一体化结构控制器，搭载在机器人上能够完美契合“人形”的概念。其示教方式极其方便，可通过网线和wifi方式连接机械臂，通过访问机械臂本体IP，即可完成示教界面的访问。

机械臂本体与示教界面

主要技术参数：

（1）控制轴数：6轴

（2）有效负载：5kg

（3）机械臂净重：7.2kg

（4）控制器：与机械臂一体化

（5）重复定位精确度：±0.05mm

（6）有效工作半径：610mm

（7）供电电压：DC24V

（8）工作温度：-15℃~55℃

（9）工作湿度：10%~80%，且无凝露

（10）通信接口： Ethernet/WIFI/RS485

（11）I/O接口：数字输出：4路、数字输入：3路、模拟量输出：4路（0-10V电压）、模拟量输入：4路（0-10V电压）

（12）示教方法：平板/电脑

（13）运动范围：关节1转动范围：±178°，关节2转动范围：±130°，关节3转动范围：±135°，关节4转动范围：±178°，关节5转动范围：±128°，关节6转动范围：±360°

（14）关节最大速度：J1-J2 180°/s、J3-J6 225°/s

（15）功耗：最大功耗≤200W 综合功耗≤100W

（16）防护等级：IP54(机械臂本体）

2.2、深度视觉系统

深度视觉系统选用 Intel Realsense D435深度相机，可直接通过 USB3.0 供电和数据通信，能同时获取深度图像与彩色图像，并且提供开发SDK和ROS功能包，方便使用者实时获取相机图像数据，并且兼容常见操作系统与机器人运行系统，便于使用者者快速进行二次开发。

主要技术参数：

（1）环境：室内和室外

（2）深度技术：主动IR立体

（3）组件：英特尔®实感™视觉处理器D4/英特尔®实感™模块D435

（4）深度视野（横向×纵向×对角线）：91.2°×65.5°×100.6°

（5）深度流输出分辨率：达1280×720

（6）深度流输出帧速率：达90fps

（7）最小深度距离（Min-Z）：0.2米

（8）红外信号发射器功率：可配置至达425毫瓦（mW）

（9）图像传感器类型：全局快门

（10）最大范围：10米及更远，随校准、场景、光照条件而变

（11）RGB传感器分辨率和帧速率：30fps时为1920×1080

（12）RGB传感器视野（横向×纵向×对角线）：69.4°×42.5°×77°

2.3、主控

主控模块是整个系统的控制中枢，采用Nvidia Jetson XAVIER NX 模组，该模组预装Ubuntu18.04 系统，配备6核Carmel架构@V8.2 64bit CPU，384 核Volta 架构的GPU及48个 TensorCore，能带来 21TOPS的INT8运算能力，尺寸只有90mm*103mm*35mm。

主控主要负责以下功能：

（1）与用户通过WIFI通信，接收用户指令，上传系统状态；

（2）通过USB3.0接收视觉传感器，对目标物体进行识别和定位；

（3）通过网口与机械臂通信，发送机械臂控制指令，获取机械臂状态信息；

（4）通过网口与移动底盘通信，发送底盘控制指令，获取底盘状态信息。

三、配置清单一览表

序号	产品名称	规模型号	数量	单位
1	超轻量仿人机械臂	RM65-B	1	套
1	机械臂示教器	配套	1	套
2	主控	Nvidia Jetson XAVIER NX	1	套
3	相机	Realsense D435C	1	套
4	显示器（选配）	-	1	套
5	无线键鼠（选配）	-	1	套

四、方案提供商

4.1、公司简介

睿尔曼是一家专注于超轻量仿人机械臂研发、生产及销售的国家高新技术企业，总部位于北京市石景山首特产业园，工厂建于江苏省常州科教城智能数字产业园内，下属另设有睿尔曼智能科技（深圳）有限公司全资子公司。公司集研发、生产、办公于一体，年综合产能20000 台以上。

自2010年起，睿尔曼便踏上了超轻量仿人机械臂的创新之旅，作为该领域的引领者，它始终坚守着产品研发与技术创新的初心。其核心团队汇聚了中国早期机器人底层技术研发的精英，他们在这一领域深耕细作，积累了超过十年的深厚底蕴和丰富经验。正是这样的团队，能够从基因层面进行机械臂的原型设计和底层零部件的自主研发，从而在控制器、驱动器、电机、减速器这四大核心零部件上实现了革命性的突破，打造出具有完全自主知识产权的超轻量仿人机械臂。

如今，睿尔曼的产品已广泛应用于新零售、新餐饮、商业服务、智能巡检、医疗健康、检验检疫、教育科研、工业生产、航空航天等多个领域，其智能、通用模块化的机械臂本体，融合了先进的软硬件与人机交互技术，为客户提供了高性价比、高可靠性、易操作的超轻量仿人机械臂及集成解决方案。

睿尔曼不仅拥有多年的机器人产品研发经验，更与北京航空航天大学、北京理工大学、中国农业大学等多所知名高校建立了紧密的战略合作关系，共同搭建了一个全方位、专业互补的创新研发平台。它始终怀揣着一个梦想：致力于让机械臂成为通用的智能化工具，让机器人走入千家万户，为美好生活助一臂之力！

4.2、公司资质

北京市“专精特新”中小企业