11月12日,蓋世汽車(chē)獲悉,中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)布“求索”具身智能測(cè)評(píng)基準(zhǔn)EIBench并開(kāi)展首次測(cè)評(píng)(基于在編國(guó)標(biāo))。
據(jù)悉,“求索”具身智能測(cè)評(píng)基準(zhǔn)EIBench,是針對(duì)具身智能數(shù)據(jù)難復(fù)用、模型泛化性差、安全難保障等產(chǎn)業(yè)痛點(diǎn)推出的首個(gè)具身智能領(lǐng)域評(píng)測(cè)基準(zhǔn),聚焦數(shù)據(jù)格式、具身智能大模型、安全及可信賴(lài)度等,形成基于國(guó)家標(biāo)準(zhǔn)的測(cè)評(píng)指標(biāo)體系。該標(biāo)準(zhǔn)在模型側(cè)主要面向VLA和VLM兩類(lèi)具身智能大模型,這也代表著我國(guó)具身智能行業(yè)發(fā)展在規(guī)范化和標(biāo)準(zhǔn)化的方向上邁出了關(guān)鍵一步。
本次測(cè)評(píng)中,北京人形機(jī)器人創(chuàng)新中心的XR-1模型成為唯一通過(guò)測(cè)試的VLA(視覺(jué)-語(yǔ)言-動(dòng)作)模型,獲頒CESI-CTC-20251103具身智能測(cè)試證書(shū)。此次成果標(biāo)志著我國(guó)具身智能技術(shù)邁向標(biāo)準(zhǔn)化驗(yàn)證新階段。

圖片來(lái)源: 北京人形機(jī)器人創(chuàng)新中心
在測(cè)試中,XR-1共在天工2.0、UR、Franka等三款機(jī)器人上,針對(duì)取放、推拉、旋轉(zhuǎn)、插入等雙臂技能進(jìn)行基礎(chǔ)測(cè)試,以及物體顏色、位置、姿態(tài),環(huán)境亮度、色溫,背景、干擾物等七大維度的泛化測(cè)試,一致通過(guò)。每項(xiàng)測(cè)試定量采集40-50條少量數(shù)據(jù),在每個(gè)任務(wù)每項(xiàng)測(cè)試維度進(jìn)行10次以上的真機(jī)測(cè)試,測(cè)試全程由中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院專(zhuān)家參與,在流程設(shè)計(jì)和實(shí)際執(zhí)行層面均做到了標(biāo)準(zhǔn)化公平可復(fù)現(xiàn)。