睿尔曼睿眼（RealEye）产品介绍（v01/08/2024）

一、产品背景

        睿尔曼智能科技有限公司致力于让公司的超轻量机械臂成为易用、智能、通用的作业工具走进千行百业和千家万户。为此，公司开发了一套机械臂 AI 软件，实现了用（视觉）机械臂进行识别、定位和操作日常物体的目的。我们针对客户对于视觉感知和机械臂操作的具体需求，重点自研了包括多模态物体识别模型、物体姿态检测模型和夹爪下爪位姿估计模型。此套软件及配套的 SDK 在大健康（按摩工作站）、配电柜巡检与操作、新零售等场景开展了实施工作和客户交付。

二、产品描述

        睿眼是一款集智能采集、识别、定位、(抓取)操作全流程为一体的 AI 产品，以其强大的智能算法结合机械臂硬件，实现对多种多样物品的定位抓取功能。现阶段能够实现对任意目标物从图片采集、标注到模型训练和抓取一小时完成（其中人工参与时间少于 5 分钟）。睿眼通过人性化的交互方式、易操作的界面，将原本复杂的数据采集、模型训练、模型部署等功能简单、易懂的方式呈现给用户，降低用户学习和使用成本，让用户仅需要关注需求本身，实现用户使用智能算法乃至操作机械臂都能达到触手可及的效果。睿眼致力于更好地满足用户的需求，助力机械臂/机器人更快走进千行百业和千家万户。

三、关键功能

1 智能采集标注

    相比于市面上普遍仅支持对图片进行标注，睿眼的智能采集支持四种数据采集方式：摄像头、机械臂、图片、视频。其中机械臂采集以全自动化的方式，自主、高效、快速的收集目标物图像数据，使用 RealSense 相机更可实现深度数据同步采集。 智能标注采用了半监督数据标注方式，实现了仅需标注一帧数据，即可自动标注剩下所有的图片。整个功能实现了采集和标注一体化，附带自动跟踪功能。同时搭配了一键数据增强功能，保证数据多样性。整个数据采集标注增强流程十分钟内即可完成，相较于传统方法速度提升 3-10 倍。

2 实时训练

        智能采集的后向工序，对智能采集的数据进行自动转化，并交给训练模块进行训练。用户仅需简单选取诸如数据集、轮次、批次等少量参数，即可实现训练功能的开启。训练过程可随时通过页面呈现的图标和数据查看训练的过程数据，包括但不限于训练损失值、成功率、训练进度等等。训练完成后自动精简模型，达到模型性能最优。

3 位姿估计

        与传统的复杂的物体数据集不同，不依赖于二维码标定的方式采集，姿态的数据采集由智能标注产生的数据制作，得到 RGBD 图像后进行重建训练，实现物体的三维重建制作。而后将训练好的物品三维模板用于姿态估计，仅需要一张分割图，就可以得到物体的位姿估计，位姿估计的实时图在页面中展现，此外，开发了多角度多帧融合检测的姿态估计功能，让姿态估计变得更加准确。

4 中心点抓取

        该功能主要是搭配识别功能的结果以目标的分割区域的中心点为抓取点，结合深度信息计算机械臂坐标点位，操作机械臂实现抓取。同时实现了自动计算偏转角和物体高度信息，以确保抓取位置的准确性。

5 位姿抓取

        我们结合物体姿态、重心与下爪位姿估计，开发了一种通用（两指）抓取网络，使机器人能够灵活而高效地抓取各种形状和尺寸的物体。该网络通过学习视觉和运动信息的融合，实现对目标的精准感知和抓取策略的生成。该网络在不同场景下能够自适应地生成有效的抓取策略，具有较强的通用性和鲁棒性，为机器人在复杂环境中进行抓取任务提供了可靠的解决方案。

6 指定点位抓取

        该功能用户可以通过手动在软件画面中点击想要抓取的位置，软件会自动计算位置的信息并转化为机械臂位姿，操作机械臂实现抓取和放置。同时实现了自动计算物体高度，以确保抓取点位的正确性。

7 视觉伺服

        机械臂移动抓取过程的最后一道工序，由于手眼标定以及深度摄像头深度估计本身存在的误差，基于 6D 姿态的机械臂抓取并不能精准到达目标位置。视觉伺服，在机械臂接近指定位置时通过视觉反馈，不断矫正机械臂当前位姿状态，以减小与目标位姿的偏差，实现精准抓取，实现机械臂最后十厘米的像素级精准操作到位。

8 手眼标定

        手眼标定是指在机器人系统中，通过测量机器人末端和相机之间的位置关系，确定机器人的工作空间坐标系与相机成像坐标系之间的转换关系。睿眼支持通过对特定目标的简单的画面拍摄，即可计算出当前连接机械臂的手眼标定结果。并保存在软件中支持后续使用。

三、优势

1 强大的视觉算法，实时数据处理

（1）精准目标检测：强大的视觉算法能够实现高精度的目标检测，准确地识别各种物体。同时搭载目标检测大模型，对生活中常见的物体不经训练即可正确识别。

（2）复杂场景理解：视觉算法能够理解和解释复杂场景中的各种元素，包括不同对象、背景、光照条件等。这使得系统能够更全面地认知环境，提升智能抓取准确性。

（3）实时图像处理：强大的视觉算法具备实时图像处理的能力，能够在毫秒级别内对图像进行分析和处理。搭配机械臂实现实时抓取。

（4）图像分割与识别：视觉算法能够对图像进行精细的分割，将图像中的不同部分进行识别和标记。这有助于实现对图像的深层次理解，为更精细的信息提取提供支持。

（5）三维视觉处理：部分强大的视觉算法能够进行三维场景的感知和处理，实现对物体的空间位置和形状的精准把握。

2 界面简单及易用

睿眼注重用户界面设计，致力于提供简单而强大的交互体验，使得用户能够轻松上手并充分发挥产品的功能。并有以下特点：

（1）直观操作流程： 睿眼通过设计直观的操作流程，让用户在使用过程中不感到迷茫。从图像采集到结果呈现，整个流程经过精心设计，使得用户能够迅速理解和掌握。

（2）一键式操作： 采用一键式操作，用户只需简单点击即可完成多项功能，无需繁琐的设置和操作步骤。这种简单的交互设计使得用户能够快速实现所需的图像处理任务。

（3）可视化参数调整： 对于一些高级功能，睿眼提供可视化的参数调整界面，用户可以直观地调整参数，实时预览效果，无需专业技术背景也能轻松完成调整。

（4）交互反馈： 在每一步操作中，用户都能够得到清晰的交互反馈，从而确保用户始终了解系统的状态。错误信息和警告也以直观的方式呈现，帮助用户快速纠正操作。

（5）用户引导和帮助： 睿眼内置了用户引导和帮助功能，用户可以随时查阅操作手册、教程，了解各项功能的使用方法。这种贴心的设计确保用户在学习和使用过程中得到充分支持。

（6）适应性布局：睿眼的界面设计具有适应性，能够根据不同设备的屏幕大小和分辨率进行布局调整，使得在不同场景下都能有出色的显示效果。

通过这些设计，睿眼旨在打破技术壁垒，使得即便是非专业用户也能轻松操作，体验到先进图像处理技术的魅力。简洁直观的界面、智能化的操作流程，让用户在使用中感受到了前所未有的易用性。

3 功能全面

（1）睿眼集成了从采集到识别、定位、（抓取）操作的全流程功能，无需其他输入即可在软件内实现一个未知物体的识别定位抓取全流程。

（2）多种方案支持选择。每个流程都集成了多个方案，睿眼采集功能支持四种数据流输入，支持三种方案抓取，支持两种定位识别功能。睿眼的设计理念强调用户的自主性，用户可以根据任务需求和场景特点，灵活选择合适的方案组合。这使得睿眼不仅仅是一款功能全面的产品，更是一款根据用户需求可定制的智能解决方案。提供多种方案选择不仅为用户提供了自主权，同时也激发了用户进行横向对比的动力。用户可以在不同方案之间进行比较，深入理解各方案的特点和适用场景，使得用户对系统功能的理解更为全面深刻。

4 即插即用，无需安装环境

（1）睿眼集成了完整的运行环境，用户无需进行繁琐的配置和安装步骤。一旦设备上线，即可立即投入使用，实现了即插即用的便捷性。

（2）睿眼自带的运行环境经过精心设计，具有较强的兼容性，能够适应多种硬件平台和操作系统。无论是工业控制台、嵌入式系统还是个人电脑，都能够顺畅运行，为用户提供了广泛的适用性。

（3）睿眼预先集成了常用的工具和依赖项，包括图像处理库、深度学习框架等，为用户提供了强大的功能支持。用户可以直接在睿眼环境中进行开发和运行，避免了手动安装和配置的麻烦。

（4）睿眼的自带运行环境使得用户可以随时随地使用系统，无论是在生产线上、实验室内还是办公室中，都能够轻松开展工作。这种灵活性使得睿眼适用于各种工作场景。

5 方便扩展和调用

（1）灵活的集成性：提供多种使用方式，包括 SDK 和 API 调用，使得睿眼更具灵活性和集成性。用户可以选择最适合其应用场景的方式进行集成，实现定制化的功能嵌入。

（2）跨平台适配：支持 SDK 和 API 调用的 AI 软件通常能够轻松适配不同平台，包括操作系统、开发语言和硬件设备。这使得用户能够在各种环境中轻松部署和使用，提高了软件的通用性。

（3）开发者友好：提供 SDK 和 API 调用的方式使得开发者能够更方便地使用和集成 AI 软件。详细的文档、示例代码和开发工具使得开发者能够更快速地上手和开发应用。

（4）定制化需求满足：多种使用方式的支持意味着用户可以根据自身需求进行定制化开发。无论是将 AI 功能嵌入到现有应用中，还是通过 API 调用构建独立应用，都能够满足不同用户的定制化需求。