Когато флагманските модели на трите големи AI гиганта OpenAI, Anthropic и Google се изправят един срещу друг в пряк сблъсък, кой е по-добър в управлението на роботи?
На 20 октомври RoboColiseum, платформа за оценка на вградена интелигентност, съвместно инициирана от близо 20 университета, компании и изследователски институции по целия свят, включително Mifeng Technology, Hugging Face, NVIDIA и университета „Цинхуа“, публикува резултатите от този кръг на оценяване: Claude Opus 5.5 се класира на първо място по общ показател сред четирите флагмански модела, следван плътно от GPT-6 Astra.
По отделни категории, сред четирите флагмански модела GPT-6 Astra води по следване на инструкции и адаптация към общи смущения, като по следване на инструкции постига оценка 99.35; Opus се представя по-добре в пространствено разбиране и общи операции и с най-малък разход на токени за всички кръгове на оценяване завоюва първото място в общата класация на флагманската група. В теста със смущения в качеството на изображението GPT-6.1 Sol значително изостава от другите три модела, което показва разлики в стабилността на различните модели при промени във визуалната информация.
Но първите две места в общата класация за този кръг все още се заемат от модели за вградени стратегии, особено със запазено предимство в измерението на общите операции.
Това състезание на един и същ терен предоставя на индустрията пряк ориентир за това къде се крият силните страни и слабостите както на универсалните големи модели, така и на моделите за вградени стратегии.
RoboColiseum, фокусирайки се върху следване на инструкции, пространствено разбиране, адаптация към смущения и общи операции, представя четири подкласации на способностите и 78 високоточни симулационни задачи за оценяване, като не само показва представянето на моделите по отделни показатели, но и записва стъпките за изпълнение на задачите и местата на неуспех, помагайки на разработчиците бързо да открият слабите места в способностите на моделите.
Като съвместен инициатор, Mifeng предоставя на RoboColiseum високоточни обектни активи и симулационни сценарии, подпомага изграждането на среди за оценяване на сложни задачи за роботизирани операции и осигурява базови ресурси за тестване на способностите на моделите при взаимодействие с различни обекти, пространствени разположения и условия на средата.
Дали резултатите на моделите в симулацията отразяват реалното им представяне при операции също е ключов въпрос за оценяването. Според публикуваните от платформата резултати от реални тестове корелацията между симулационната оценка на RoboColiseum и реалното разгръщане достига 89.5%, а разликата в оценяването на един и същ модел между симулацията и реалния свят е под 10%, което може да служи като ориентир за разработчиците при подбор на модели и локализиране на проблеми преди преминаване към тестове с реален хардуер.
Mifeng Technology предоставя система за доставяне на данни, която е „изчерпателна, качествена и бърза“, обхващаща трите основни парадигми на данни: реални машини, симулация и без собствена платформа. В областта на симулацията Mifeng предоставя два типа ресурси – обектни активи и активи за среда, обхващащи разнообразни ежедневни предмети и интериорни сценарии, и предлага възможности като реконструкция на сценарии, получаване на експертни траекторни данни и визуализация на резултатите от оценяването, подпомагайки екипите за модели да провеждат разнообразно обучение и оценяване.
Coliseum първоначално означава древноримския кръгъл амфитеатър, а RoboColiseum използва този образ, за да изгради многомерна система за оценяване и чрез симулационна оценка, тясно съответстваща на реалното представяне, да създаде за моделите на вградената интелигентност публична, неутрална и възпроизводима „арена“ и „тренировъчно поле“. Всеки университет, изследователски институт или корпоративен разработчик може да подаде своя модел, за да се подложи на стандартизиран „изпит“. От пускането си през август над 100 екипа от страната и чужбина вече провеждат обучение и оценяване на модели на платформата.
RoboColiseum вече е отворена за разработчици по целия свят и приканва екипите за модели да участват в оценяването.
