【睿尔曼-RealMan】基于大模型的智慧零售教育科研平台——技术方案

一、产品概述

1.1、产品背景

随着数字经济的快速发展和全社会数字化水平的升级，人工智能的积极作用越来越凸显，人工智能与各个行业的深度融合已成为促进传统产业转型升级的重要方式之一。ChatGPT的出现掀起了又一波人工智能发展热潮，人工智能行业发展势头强劲，市场规模持续上升，正逐步进入效率化生产阶段，为用户带来了更加个性化的服务和产品。

近年来，中国人工智能行业受到各级政府的高度重视和国家产业政策的重点支持，国家陆续出台了多项政策，鼓励人工智能行业发展与创新，《关于支持建设新一代人工智能示范应用场景的通知》《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》《新型数据中心发展三年行动计划（2021-2023年）》等产业政策为我国人工智能产业发展提供了长期保障。而人工智能结合机器人，成为产业发展风向标，使机器人具有“智慧”，服务日常生活，成为机器人产业发展的流行趋势。

2023年1月《“机器人+”应用行动实施方案》指出，当前，机器人产业蓬勃发展，正极大改变着人类生产和生活方式，为经济社会发展注入强劲动能。预计到2025年，制造业机器人密度较2020年实现翻番，服务机器人、特种机器人行业应用深度和广度显著提升，机器人促进经济社会高质量发展的能力明显增强。

在智慧零售领域，大模型技术具有数据处理能力强、预测准确度高、智能化水平高等显著优势。通过构建庞大的数据集和复杂的算法模型，大模型能够实现对市场趋势的准确预测以及商品库存的智能管理，同时能够根据消费者的购物历史和偏好，提供定制化的购物体验，从而提高销售额和顾客满意度。

1.2、功能简介

本产品以大模型技术与机器人技术在“智慧零售”这一垂直领域应用的实际需求为应用背景，模拟在无人零售店等新型零售模式场景中，大模型通过分析消费者行为数据，提供个性化的商品推荐；通过图生文技术和自然语言处理技术，提高交互效率和便捷性；通过智能机械臂完成对商品的识别、定位与抓取，通过图像识别技术实现商品识别和结算，提高购物体验，最终实现协助零售商户智能识别客户需求。产品功能如下：

(1)智慧视觉辨识：利用大模型的强大计算能力和视觉识别技术，系统能够实现对货架上商品的高精度识别，确保每一个商品都能被精确地辨识和分类。

(2)环境感知物体跟踪：结合大模型与深度学习算法，本功能可实时检测并追踪货架上商品的位置和状态，为智能物流和库存管理提供实时数据。

(3)互动式语音交互：通过大模型集成的自然语言处理能力，平台可通过自然且友好的语音交互与用户沟通，提供即时信息反馈和导购服务。

(4)洞察消费者辅助决策：利用大模型根据顾客行为、面部表情分析，生成消费者洞察报告，帮助零售商理解顾客需求，优化商品组合。

(5)智能精准操控：以大模型技术为支撑，智能机械臂能够自动精准地识别目标商品，并完成复杂的抓取与搬运任务，展现了先进的自动化操作能力。

(6)智能化结算分析：此功能集结大模型的数据分析和图像识别技术，能够在短时间内完成对结算区商品的自动识别和计价，提供一站式智能结算解决方案。

通过本套产品，可培养学生掌握边缘端大模型应用的环境部署能力，了解和熟悉机械臂运动控制技术、机器视觉、语音识别、多传感器融合应用技术、机械臂视觉抓取控制技术、移动滑轨与机械臂协调控制技术等多项大模型技术和智能机器人技术，同时培养学生的创新能力、团队协作能力等综合职业素养，为中高职院校、高等院校人才培养更接近与实际的企业工作岗位需求。

图1 .基于大模型的智慧零售教育科研平台

1.3、产品特点

1.3.1、产品优势

基于大模型的智慧零售教育科研平台集主控与执行机构与一体，主控中采用目前主流的大模型与图文生成技术，通过自然语言处理，实现对外部环境的感知与分析；执行机构使用超轻量仿人机械臂，基于目标检测技术，通过机械臂运动规划等功能，完成任务执行与环境交互功能。基于大模型的智慧零售教育科研平台同时具备商业应用、教学实训及科研实验的特性，是融合应用与科教一体的平台，因此其支持各类型高校专业实训、课程设计、毕业设计等实训环节的教学，也满足各科研院所基础实验测试及二次开发需求，实训平台主要有以下优势：

(1)多功能性：基于大模型的智慧零售教育科研平台可以执行多种任务，包括语音交互、视觉抓取等。

(2)智能化技术支持：基于大模型的智慧零售教育科研平台集成了人工智能技术，例如机器视觉、深度学习及大模型等前沿技术，能够实现环境感知和自主决策，提升实验的智能化水平，并且对于前沿的人工智能技术具备良好的适配性，各类最新智能算法及AI解决方案能够轻松在平台上验证，对于高层次人才培养和深度科研探索有坚实的基础支撑。

(3)灵活性：平台结构设计灵活，可以在不同工作场景下自由移动和操作，适用于多种实验和项目需求。

(4)自动化程度高：基于大模型的智慧零售教育科研平台具备自动化控制功能，能够通过编程实现自动化操作和任务执行，提高实验效率和精度。

(5)跨学科应用：基于大模型的智慧零售教育科研平台涵盖了人工智能、控制工程、计算机等多个学科领域的知识和技术，可以为跨学科的实验和项目提供支持。

(6)实践创新教学：基于大模型的智慧零售教育科研平台为学生提供了实践创新的平台，可以进行项目设计、编程控制、系统集成等实践操作，培养学生的创新能力和实践技能。

(7)设备迭代更新：基于大模型的智慧零售教育科研平台采用模块化组成思想，每个组成部分都能够单独运行使用，因此后续升级与适配十分方便，用户无需整套返厂更新，使用配套器件即可更新硬件与软件。

(8)教学资料配套：基于大模型的智慧零售教育科研平台教学科研平台配套各类型教学资料，包括实训文档、开发文档、实训讲解视频、二次开发实践视频以及实践讲师现场教学等全面的教学支撑，为客户群体提供人性化与定制化的使用与开发服务。

(9)实训平台生态圈：基于大模型的智慧零售教育科研平台教学科研平台提供全方位的生态圈，用户可自行定制与替换各部件，以便完成特定的场景需求，并且基于大模型的智慧零售教育科研平台教学科研平台拥有独立的产品生态论坛，用户可以随时在论坛查找相关生态产品资料以及开发资料，极大地减少客户二次开发应用难度及周期。

1.2.3、竞赛支持

“中国机器人及人工智能大赛（CAAI）”是国内首个提出在机器人及人工智能领域，将关键技术的研发与应用有机结合的比赛。自1999年至2023年，中国机器人及人工智能大赛已成功举办了25届，已有600多所高校参与，累计超27万高校学生参赛是目前国内规模最大，影响力最强，专业水平最高的机器人竞赛。参赛院校及师生均可享受A类赛事奖励政策，其涉及计算机、电子、机械、信息、无人机、人工智能等方面，是多学科知识的本融合型大赛。产品能全面支撑师生参与CAAI的基于大模型的智慧零售赛项。

智慧零售竞赛场景设置如图2所示，货架上摆放有矿泉水、可乐、薯片、牛奶等日常零售柜商品，直线导轨台放置在货架前方，机械臂固定在直线导轨台上，可水平移动。具体尺寸、商品类型、商品价格以后续赛事群公布为准。

图2.智慧零售竞赛场景设置示意图

1.3、产品特点

1.3.1、产品优势

基于大模型的智慧零售教育科研平台集主控与执行机构与一体，主控中采用目前主流的大模型与图文生成技术，通过自然语言处理，实现对外部环境的感知与分析；执行机构使用超轻量仿人机械臂，基于目标检测技术，通过机械臂运动规划等功能，完成任务执行与环境交互功能。基于大模型的智慧零售教育科研平台同时具备商业应用、教学实训及科研实验的特性，是融合应用与科教一体的平台，因此其支持各类型高校专业实训、课程设计、毕业设计等实训环节的教学，也满足各科研院所基础实验测试及二次开发需求，实训平台主要有以下优势：

(1)多功能性：基于大模型的智慧零售教育科研平台可以执行多种任务，包括语音交互、视觉抓取等。

(2)智能化技术支持：基于大模型的智慧零售教育科研平台集成了人工智能技术，例如机器视觉、深度学习及大模型等前沿技术，能够实现环境感知和自主决策，提升实验的智能化水平，并且对于前沿的人工智能技术具备良好的适配性，各类最新智能算法及AI解决方案能够轻松在平台上验证，对于高层次人才培养和深度科研探索有坚实的基础支撑。

(3)灵活性：平台结构设计灵活，可以在不同工作场景下自由移动和操作，适用于多种实验和项目需求。

(4)自动化程度高：基于大模型的智慧零售教育科研平台具备自动化控制功能，能够通过编程实现自动化操作和任务执行，提高实验效率和精度。

(5)跨学科应用：基于大模型的智慧零售教育科研平台涵盖了人工智能、控制工程、计算机等多个学科领域的知识和技术，可以为跨学科的实验和项目提供支持。

(6)实践创新教学：基于大模型的智慧零售教育科研平台为学生提供了实践创新的平台，可以进行项目设计、编程控制、系统集成等实践操作，培养学生的创新能力和实践技能。

(7)设备迭代更新：基于大模型的智慧零售教育科研平台采用模块化组成思想，每个组成部分都能够单独运行使用，因此后续升级与适配十分方便，用户无需整套返厂更新，使用配套器件即可更新硬件与软件。

(8)教学资料配套：基于大模型的智慧零售教育科研平台教学科研平台配套各类型教学资料，包括实训文档、开发文档、实训讲解视频、二次开发实践视频以及实践讲师现场教学等全面的教学支撑，为客户群体提供人性化与定制化的使用与开发服务。

(9)实训平台生态圈：基于大模型的智慧零售教育科研平台教学科研平台提供全方位的生态圈，用户可自行定制与替换各部件，以便完成特定的场景需求，并且基于大模型的智慧零售教育科研平台教学科研平台拥有独立的产品生态论坛，用户可以随时在论坛查找相关生态产品资料以及开发资料，极大地减少客户二次开发应用难度及周期。

1.3.2、竞赛支持

“中国机器人及人工智能大赛（CAAI）”是国内首个提出在机器人及人工智能领域，将关键技术的研发与应用有机结合的比赛。自1999年至2023年，中国机器人及人工智能大赛已成功举办了25届，已有600多所高校参与，累计超27万高校学生参赛是目前国内规模最大，影响力最强，专业水平最高的机器人竞赛。参赛院校及师生均可享受A类赛事奖励政策，其涉及计算机、电子、机械、信息、无人机、人工智能等方面，是多学科知识的本融合型大赛。产品能全面支撑师生参与CAAI的基于大模型的智慧零售赛项。

智慧零售竞赛场景设置如图2所示，货架上摆放有矿泉水、可乐、薯片、牛奶等日常零售柜商品，直线导轨台放置在货架前方，机械臂固定在直线导轨台上，可水平移动。具体尺寸、商品类型、商品价格以后续赛事群公布为准。

图2.智慧零售竞赛场景设置示意图

 

基于大模型的智慧零售赛项评分表

任务类别	项目	得分
任务A	按从上到下，从左到右顺序，分层播报货架商品信息	15
任务B	依据任务卡图片，机器人正确理解并播报图片内容	8
任务B	正确播报推荐商品	4
任务B	完成商品抓取	5
任务B	成功将商品放置到结算区内	3
任务C	依据任务卡提供的商品名称选取正确商品，完成商品名称播报	2
任务C	完成商品抓取	5
任务C	成功将商品放置到结算区内	3
任务C	根据给定的相对方位信息，正确选取商品，完成商品名称播报	7
任务C	完成商品抓取	5
任务C	成功将商品放置到结算区内	3
任务C	根据给定的相对方位信息，正确选取商品，完成商品名称播报	7
任务C	完成商品抓取	5
任务C	成功将商品放置到结算区内	3
任务D	根据结算指令，完成结算区内商品信息识别，并进行语音播报	12
任务D	完成商品结算区内的商品结算，并语音播报商品总额	3
任务E	根据创意功能的实用性、创新性以及功能数量和质量，由现场裁判对选手创意展示任务进行评分	10

1.4、配套资源

基于大模型的智慧零售教育科研平台配套全面的实训内容与资料，为教育客户群体提供涵盖机器人工程、人工智能、自动化、计算机、通信工程、电子信息等专业的课程教学与实训实验资源，并且提供产品论坛，用户可在论坛中交流与查找相关资料，产品的更新资料也会同步至论坛中，方便用户查收。

1.4.1、课程资源

基于大模型的智慧零售教育科研平台提供系统性的教学实验实训内容，包括实训文档及实训视频，深入浅出的讲解基于大模型的智慧零售教育科研平台相关原理与开发流程，以下是部分课程资源概览：

主题	课程	内容（简述）	课时
中控系统教学实训	Linux系统基础	1.Linux系统说明； 2.Linux系统安装； 3.常用Linux命令说明；	4
中控系统教学实训	Python基础	1.Python语言说明； 2.Python环境搭建； 3.Python基础语法； 4.Python数据类型； 5.Python函数说明； 6.Python中Socket网络编程；	4
中控系统教学实训	ROS操作系统	1.ROS简介及ROS总体框架； 2.ROS安装及测试； 3.ROS中话题topic、服务Service、消息等介绍； 4.基于C++编写各节点； 5.Launch文件说明及使用； 6.TF变换说明； 7.Rqt、RVIZ、Gazebo、Cvbridge工具介绍；	16
中控系统教学实训	物联网平台	1.物联网简介及设备说明； 2.物联网通讯协议说明； 3.物联网传感器数据包获取及解读；	8
视觉系统教学实训	视觉传感器认知	1.视觉传感器简介及分类； 2.视觉传感器优缺点分析； 3.视觉传感器应用场景分析；	4
视觉系统教学实训	深度相机技术应用	1.深度相机简介及基础使用； 2.深度相机获取三维坐标；	4
视觉系统教学实训	深度学习及视觉识别技术	1.深度学习简介； 2.YOLO5框架介绍及使用； 3.物体识别应用； 4.输出识别物体的坐标信息；	8
视觉系统教学实训	视觉识别二维码及颜色	1.Opencv简介及环境安装； 2.基于Opencv的颜色识别实践； 3.基于Opencv的二维码识别实践；	6
视觉系统教学实训	手眼标定	1.手眼标定的意义； 2.使用Python实现基于六轴机械臂的手眼标定；	2
操作机构系统教学实训	执行机构本体	1.六轴机械臂简介及本体认知； 2.六轴机械臂通讯方法； 3.六轴机械臂示教器使用基础； 4.六轴机械臂示教器编程；	8
操作机构系统教学实训	机械臂仿真系统	1.ROS机器人操作系统简介及认知； 2.RVIZ中显示机械臂模型； 3.使用Moveit工具编程； 4.Moveit控制Gazebo中的仿真机械臂； 5.Moveit仿真避障规划；	16
操作机构系统教学实训	执行机构二次开发	1.JSON协议应用； 2.机械臂API应用； 3.机械臂透传移动控制； 4.在线编程及拖动轨迹文件编程；	16
操作机构系统教学实训	执行机构集成技术	1.机械臂控制器对外接口应用； 2.机械臂末端对外接口应用； 3.机械臂集成2指夹爪及五指灵巧手应用； 4.机械臂集成真空吸盘应用；	8
智慧零售竞赛套件应用实训内容	机器人组成原理	1.机器人系统理论介绍； 2.机械臂运动规划详解及应用；	4
智慧零售竞赛套件应用实训内容	ROS机器人操作系统	1.ROS通信原理； 2.moveit轨迹规划实践应用； 3.Gazebo仿真实践；	4
智慧零售竞赛套件应用实训内容	视觉抓取	1.3D视觉识别定位原理； 2.深度学习物体识别原理； 视觉抓取；	8
智慧零售竞赛套件应用实训内容	二次开发实训	1.语音语义识别实践； 2.人机交互实践； 3.具身智能应用实践； 大模型应用实践	8

1.4.2、可开展实训内容

（1）货架商品信息扫描与语音播报：通过机械臂的运动控制与路径规划，结合视觉识别技术完成对货架商品的排列位置扫描和识别，按货架从上到下，从左到右的顺序播报。本部分实训内容可考察学生对于机械臂运动控制、直线导轨控制、物体识别与定位技术等智能机器人技术的应用

（2）商品推荐：导入任务卡提供的图片，由机器人完成对图片的理解并进行语音播报、然后在货架现陈列商品中选择1个最佳商品推荐并语音播报，最后将推荐商品抓取放置到商品结算区。本部分实训内容要求学生利用大模型的图生文技术，完成对图片的内容理解，并进行商品推荐，利用视觉技术完成物体定位，再结合机械臂控制技术完成对物品的抓取。

（3）商品选购：根据给定商品名称选取正确商品并完成抓取，同时进行语音播报，并根据给定的相对方位信息正确选取商品并完成抓取，同时进行语音播报。根据给定的语义信息正确选择商品并完成抓取，同时进行语音播报。

（4）商品结算：自动识别结算区所有商品信息，完成商品结算并语音播报。考察选手利用图像识别及目标检测技术，精准地对顾客购买的商品进行智能化、自动化的价格结算。当顾客将自己选购的商品放置在指定的区域里，可精准地识别每一个商品，并且能够返回完整地购物清单及顾客应付的实际商品总价格。

（5）创意展示：支持学生进行二次开发

1.4.3、教学资源与平台

基于大模型的智慧零售教育科研平台提供由浅入深的二次开发教学资源以及开发平台，用户可在官网论坛查找相关产品资料，并且开发人员会在论坛中分享二次开发示例源码、开发原理及经验，为用户提供二次开发的技术帮助。

部分教学资源截图如下：

教学资源图1 机械臂实训手册

教学资源图2 机械臂ROS实训手册

教学资源图3 视觉识别实训文档

教学资源图4 机械臂实训教学资料

教学资源图5 基础教学资料

在提供全套的实训资料外，还设置了产品论坛，旨在方便客户及时获取产品最新资料以及二次开发案例，全力辅助用户二次开发，形成良好的产品拓展与开发氛围。

论坛资源 图

1.5、设备组成

（1）基于大模型的智慧零售教育科研平台技术实训平台是专门面向科研与教育培训领域的教学实训平台。集成了从机器人工程、与人工智能等各学科知识内容，学生可以利用平台学习掌握基于大模型的智慧零售教育科研平台理论知识，并在现有工作台上验证，帮助学生从理论知识上升到实际操作。此外，研究人员可以依托平台结合已有科研课题，完成科研实验与算法理论验证。

（2）机械臂系统：睿尔曼RM65系列超轻量机械臂，负载5kg自重7.2kg具有超高的负载自重比，无传统控制柜将控制器与机械臂完美融为一体，一体化机械臂仍自带丰富接口满足多种应用需求扩展，提供丰富的API函数库，便于二次开发。末端具备通用接口，灵活扩展，即插即用，一体化机械臂结构且自带丰富接口，满足多行业应用需求扩展。

（3）主控系统：使用Nvidia Jetson orin nano 模组，该模组预装Ubuntu18.04 系统，算力达到20 Tops，搭载 16个Tensor Core 的512核NVIDIAAmpere与6核Arm Cortex CPU，内存4GB，功率仅7W-10W。

（4）视觉系统：选用 Intel Realsense D435C深度相机，可直接通过 USB3.0 供电和数据通信，能同时获取深度图像与彩色图像，有效距离0.11m~10m，可满足视觉感知环境需求。使用LX-224HV舵机作为头部旋转关节，可进行头部旋转和俯仰控制，扩大机器人的视野感知范围与操作空间。

1.6、主要技术参数

(1)供电电压： DC20-30V，额定DC 24V

(2)功耗：最大功耗≤200W 综合功耗≤100W

(3)横向行程范围：≤600mm

(4)抓取尺寸：10-120mm

(5)定位精度：1mm

(6)抓取重量：700g

二、主要硬件配置介绍

产品主要由导轨、机械臂、视觉传感器、主控模块组成。横向导轨用来提升机械臂在横向上的空间移动，保证货架上的物体能够被准确抓取；机械臂、视觉传感器、末端执行器统一作为执行系统，完成用户设定的工作，主控模块是整个产品的控制单元，负责分析与处理用户语音以及视觉图像，并为执行系统下达任务指令。

2.1、机械臂

睿尔曼RM65-BI-S仿人机械臂自重7.2Kg，额定负载5Kg，臂展610mm，重复定位精度±0.05mm，具有一体化结构控制器，搭载在机器人上能够完美契合“人形”的概念。其示教方式极其方便，可通过网线和wifi方式连接机械臂，通过访问机械臂本体IP，即可完成示教界面的访问。

机械臂本体与示教界面

主要技术参数：

（1）控制轴数：6轴

（2）有效负载：5kg

（3）机械臂净重：7.2kg

（4）控制器：与机械臂一体化

（5）重复定位精确度：±0.05mm

（6）有效工作半径：610mm

（7）供电电压：DC24V

（8）工作温度：0℃~45℃

（9）工作湿度：10%~80%，且无凝露

（10）通信接口： Ethernet/WIFI/RS485

（11）I/O接口：数字输出：4路、数字输入：3路、模拟量输出：4路（0-10V电压）、模拟量输入：4路（0-10V电压）

（12）示教方法：平板/电脑

（13）运动范围：关节1转动范围：±178°，关节2转动范围：±130°，关节3转动范围：±135°，关节4转动范围：±178°，关节5转动范围：±128°，关节6转动范围：±360°

（14）关节最大速度：J1-J2 180°/s、J3-J6 225°/s

（15）功耗：最大功耗≤200W 综合功耗≤100W

（16）防护等级：IP54(机械臂本体）

2.2、夹爪

使用柔性夹爪，保证物体在取送过程中不被损坏。遵循设计小巧、美观的原则，避免线缆和设备过多，集成于机械臂末端。

(1)I/O·电源：24V/2A

(2)控制接口：RS485

(3)抓取尺寸：10-120mm

(4)重量：625g

(5)抓取重量：700g

(6)材料：铝合金、柔性硅胶

(7)工作电压：12V

(8)抓取频率：30次/分

2.3、直线滑轨套件

直线滑轨为机械臂提供更广阔的工作空间，提升整体机构的工作效能。

(1)行程范围：≤600mm

(2)负载：30kg

2.4、边缘计算模组

边缘计算模组包括智能边缘端处理中心、显示器、语音套件、深度摄像头、无线键盘鼠标

智能边缘端处理中心是整个系统的控制中枢，主要负责以下功能：

（1）接收用户指令，上传系统状态；

（2）可通过 USB3.0 接收视觉传感器，对目标物体进行识别和定位；

（3）可通过网口与机械臂通信，发送机械臂控制指令，获取机械臂状态信息；

（4）搭载大模型，执行自然语言处理等功能；

（5）与用户交互。

使用Nvidia Jetson orin nano 模组，该模组预装Ubuntu18.04 系统，算力达到20 Tops，搭载 16个Tensor Core 的512核NVIDIAAmpere与6核Arm Cortex CPU，内存4GB，功率仅7W-10W。

(1)算力：20 Tops

(2)GPU：搭载 16个Tensor Core 的512核NVIDIA Ampere

(3)CPU：6核Arm Cortex

(4)内存：4GB

(5)功率：7W-10W

屏幕用于显示平台当前状态以及用户实时交互。

(1)接口类型：HDMI

(2)面板类型：IPS

(3)分辨率：1920x180

(4)水平可视角度: 178°

(5)刷新率：60HZ

语音套件用于平台和用户的语音交互。

(1)输入电压：DC 5V

(2)尺寸：直径85mm

(3)拾音范围：≤3.5m

视觉感知传感器安装在机械臂末端。实现对视野范围内物体的识别和定位，从而为移动和抓取提供输入。其参数如下：

(1)尺寸：90mm*25mm*25mm

(2)深度视场（FOV）：87°* 58°* 95°

(3)最高深度流输出分辨率：1280*720

(4)RGB传感器分辨率：1920*1080

(5)RGB传感器帧速率：30 fps

(6)深度精度误差2米内小于2%

3.1、公司简介

睿尔曼是一家专注于超轻量仿人机械臂研发、生产及销售的国家高新技术企业，总部位于北京市石景山首特产业园，工厂建于江苏省常州科教城智能数字产业园内，下属另设有睿尔曼智能科技（深圳）有限公司全资子公司。公司集研发、生产、办公于一体，年综合产能20000 台以上。