触觉数据的巴别塔——5种传感器1行代码加载
触觉数据的巴别塔——5种传感器1行代码加载
昨天看到坤维科技拿了B++轮超亿元融资,六维力传感器被称作机器人的"触觉神经"。工信部也刚发了人形机器人实景实训专项行动,万台级落地在即。
机器人终于要真正干活了。但有个问题很少有人提——触觉数据各说各话。
每换一个传感器,就要重写一套代码
如果你做过触觉相关的研究,一定经历过这种痛苦:
1、用GelSight?得写一套读取+可视化+标注的代码
2、换DIGIT?格式完全不同,又来一套
3、试试Paxini?再来一套
4、拿到戴盟的数据?还是再来一套
每个传感器厂商有自己的数据格式、自己的坐标系、自己的存储方式。研究者每换一个传感器,就要花几天甚至几周写加载器、写可视化、写标注工具。
更要命的是——换传感器后之前的标注全废了。因为每个工具的标注格式也不一样。
这不就是巴别塔吗?大家都在说"触觉",但互相听不懂。
一个格式统一所有传感器
tlabel 就是来解决这个问题的。
核心思路很简单:不管你用什么传感器采集的数据,我都给你统一成一套格式、一套API、一套可视化。
import tlabel
# 5种传感器,同样的3行代码
loader = tlabel.load('gelsight') # 或 'digit', 'paxini', 'daimon', 'feelanyforce'
loader.review() # 同一套可视化
loader.export('labeled.json') # 同一套标注格式
不需要关心底层格式差异,不需要分别写加载器,不需要分别适配标注工具。
它是怎么做到的?
tlabel定义了
一套传感器无关的22维触觉特征格式(TLabel Format)
,包含:
1、力特征(6维):法向力、切向力Fx/Fy、总力、滑移标志、接触面积
2、空间特征(8维):接触位置x/y、长轴/短轴、方向角、椭圆度、质心偏移、曲率
3、时序特征(4维):力变化率、位移速度、接触持续时间、振动频率
4、振动特征(4维):主频、频谱能量、谐波比、阻尼系数
每个传感器的原始数据,通过对应的适配器,自动映射到这22维特征空间。这意味着——跨传感器泛化成为可能。
我们的实验结果:
|任务 |同传感器F1 |跨传感器F1
|滑移检测 |1.0 |1.0
| 位姿估计 | R²=0.95 |R²=0.93
滑移检测跨传感器泛化甚至达到了完美F1=1.0,因为力的特征是跨传感器通用的。
AI预标注:还能自动标
除了统一格式,tlabel还内置了AI预标注功能:
from tlabel import PredictEngine
engine = PredictEngine()
results = engine.predict(loader)
# 基于统计推断+规则引擎,自动生成初始标注
# 人工只需要修正,不用从零开始
快速上手
pip install tlabel
import tlabel
# 用内置demo数据快速体验
tlabel.demo('gelsight') # 或 'paxini'
GitHub: https://github.com/liesliy/tlabel
PyPI: https://pypi.org/project/tlabel/
为什么这件事重要?
人形机器人万台级落地,意味着触觉数据会爆发式增长。但如果每种传感器各搞一套,数据就无法复用、无法对比、无法迁移。
统一格式不是锦上添花,是基础设施。就像USB统一了接口标准之后,外设生态才真正爆发。
触觉数据的巴别塔,该倒了。
如果觉得有用,给个star ⭐,这对我真的很重要。问题或建议欢迎到 GitHub Discussions 讨论。
更多推荐


所有评论(0)