项目 · 机器人与人工智能

智能机器人手

A modular robotic hand and forearm platform combining mechanical engineering, sensing, real-time control, computer vision and edge AI.

项目简介

智能机器人手是一个模块化操作平台,结合机械设计、传感、确定性电机控制、计算机视觉和边缘人工智能。

核心研究问题是:在无需逐个编程手指动作的情况下,机器人手能否根据物体的形状、方向、重量和脆弱程度调整抓取方式。

开发从可测量的子系统开始,包括人手动作捕捉、食指和拇指机构、力与位置传感以及实时电机控制。

开发证据

手部传感与动作捕捉实验

这些图像展示用于理解人手动作、关节关系和传感器输入的早期实验工作。

动作捕捉实验中安装在人手上的传感设备
用于记录手部动作并研究如何将手指行为转换为控制数据的传感实验。
显示手部关节与骨架模型的计算机画面
用于显示手部运动学并为建模和控制准备动作数据的数字关节跟踪。

潜在价值

智能机器人手的用途

传统夹具适合可预测任务,而传感丰富的自适应机器人手可在物体和操作条件变化时提供更多灵活性。

●处理不同形状和尺寸的物体
●对易碎或可变形物体进行力感知抓取
●包装、分拣、装配和物流自动化
●机器人、控制与机器学习研究和教育
●面向自动化集成商的可复用末端执行器平台
●未来辅助技术研究,但必须完成安全和监管验证

技术栈

硬件与软件组成统一控制系统

架构将高层感知与规划和时间关键的本地电机控制分离,以兼顾人工智能处理、确定性响应和安全。

硬件

NVIDIA Jetson 边缘计算机

运行计算机视觉、神经网络推理、抓取规划和 ROS 2 高层协调。

ARM 实时控制器

STM32H7、Teensy 或同等级控制器执行电机环、传感采集和本地安全逻辑。

执行器与电机驱动器

完整概念可能使用约十五个执行器,每个关节需要驱动电子设备和电流保护。

位置与力传感

编码器、Hall 传感器或电位器提供位置反馈,电流、压力、力或触觉传感器支持接触控制。

外部模拟采集

ADS1115、ADS1015 或 MCP3008 等 ADC 可采集力、弯曲和压力信号。

工业通信与安全

EtherCAT 或其他确定性通信配合看门狗、限制和紧急停止行为。

软件

Linux、CUDA 与 TensorRT

在 Jetson 上加速计算机视觉和神经网络推理。

Python、C++ 与 OpenCV

用于图像处理、感知、数据准备、测试和应用层控制。

PyTorch 与模型优化

支持感知模型训练或集成,并优化用于边缘部署。

ROS 2

提供视觉、抓取规划、手部控制、遥测、日志和系统集成节点。

FreeRTOS 或裸机固件

在 ARM 控制器上运行电机控制、传感采样、故障处理和看门狗。

PID 与自适应控制

高频控制环调节位置、速度或力,并为学习型适应保留扩展空间。

控制流程

系统预期如何工作

抓取命令通过感知、规划、确定性控制和传感反馈转换为协调动作。

验证

如何评估原型

项目成功应通过可测量的工程证据证明,而不仅仅是好看的演示。

在定义物体测试集上的抓取成功率
位置与力控制误差
易碎物体的最大接触力
响应延迟与完整抓取周期时间
通信时序、抖动与丢包
故障检测与恢复表现
重复试验的一致性
能耗、负载与执行器温度

相关实时工作空间

探索 RML 实验室

在实时 RML 环境中查看相关研究、建模、仿真和工程开发工作。

打开 RML 实验室 ↗

开发路线图

从研究到行业试点的分阶段路径

Phase 1

Mechanism validation

Validate linkage, force, actuation, sensing, control and safety.

Phase 2

Integrated hand

Combine multiple digits, perception, planning and industrial communication.

Phase 3

Industry pilot

Test a narrow application and quantify performance, cost and value.