触觉数据的巴别塔——5种传感器1行代码加载

昨天看到坤维科技拿了B++轮超亿元融资,六维力传感器被称作机器人的"触觉神经"。工信部也刚发了人形机器人实景实训专项行动,万台级落地在即。
机器人终于要真正干活了。但有个问题很少有人提——触觉数据各说各话。

每换一个传感器,就要重写一套代码

如果你做过触觉相关的研究,一定经历过这种痛苦:

1、用GelSight?得写一套读取+可视化+标注的代码
2、换DIGIT?格式完全不同,又来一套
3、试试Paxini?再来一套
4、拿到戴盟的数据?还是再来一套

每个传感器厂商有自己的数据格式、自己的坐标系、自己的存储方式。研究者每换一个传感器,就要花几天甚至几周写加载器、写可视化、写标注工具。

更要命的是——换传感器后之前的标注全废了。因为每个工具的标注格式也不一样。
这不就是巴别塔吗?大家都在说"触觉",但互相听不懂。

一个格式统一所有传感器

tlabel 就是来解决这个问题的。
核心思路很简单:不管你用什么传感器采集的数据,我都给你统一成一套格式、一套API、一套可视化。

import tlabel

# 5种传感器,同样的3行代码
loader = tlabel.load('gelsight')  # 或 'digit', 'paxini', 'daimon', 'feelanyforce'
loader.review()                    # 同一套可视化
loader.export('labeled.json')      # 同一套标注格式

不需要关心底层格式差异,不需要分别写加载器,不需要分别适配标注工具。

它是怎么做到的?

tlabel定义了

一套传感器无关的22维触觉特征格式(TLabel Format)

,包含:

1、力特征(6维):法向力、切向力Fx/Fy、总力、滑移标志、接触面积
2、空间特征(8维):接触位置x/y、长轴/短轴、方向角、椭圆度、质心偏移、曲率
3、时序特征(4维):力变化率、位移速度、接触持续时间、振动频率
4、振动特征(4维):主频、频谱能量、谐波比、阻尼系数

每个传感器的原始数据,通过对应的适配器,自动映射到这22维特征空间。这意味着——跨传感器泛化成为可能。
我们的实验结果:
|任务 |同传感器F1 |跨传感器F1
|滑移检测 |1.0 |1.0
| 位姿估计 | R²=0.95 |R²=0.93

滑移检测跨传感器泛化甚至达到了完美F1=1.0,因为力的特征是跨传感器通用的。

AI预标注:还能自动标

除了统一格式,tlabel还内置了AI预标注功能:

from tlabel import PredictEngine

engine = PredictEngine()
results = engine.predict(loader)
# 基于统计推断+规则引擎,自动生成初始标注
# 人工只需要修正,不用从零开始

快速上手

pip install tlabel
import tlabel

# 用内置demo数据快速体验
tlabel.demo('gelsight')  # 或 'paxini'

GitHub: https://github.com/liesliy/tlabel
PyPI: https://pypi.org/project/tlabel/
为什么这件事重要?

人形机器人万台级落地,意味着触觉数据会爆发式增长。但如果每种传感器各搞一套,数据就无法复用、无法对比、无法迁移。
统一格式不是锦上添花,是基础设施。就像USB统一了接口标准之后,外设生态才真正爆发。
触觉数据的巴别塔,该倒了。

如果觉得有用,给个star ⭐,这对我真的很重要。问题或建议欢迎到 GitHub Discussions 讨论。

Logo

智能硬件社区聚焦AI智能硬件技术生态,汇聚嵌入式AI、物联网硬件开发者,打造交流分享平台,同步全国赛事资讯、开展 OPC 核心人才招募,助力技术落地与开发者成长。

更多推荐