经典机器人设计通常依赖机器人专家和机械工程师的经验进行正向设计,并针对空间可达性、结构强度、重量分布、重复精度等特性进行有选择性的优化。这个过程非常依赖设计师的经验,并且迭代周期较长,需要开发出数个版本的实体硬件进行测试、迭代,导致研发成本较高。而且在应用场景及任务更加复杂时,经典设计的本体及末端执行器构型等在机器人任务执行成功率、执行效率、硬件成本等方面不能达到最优。
依赖AI技术,尤其是基于Sim2Real具身智能引擎,跨维智能开始尝试是否能够比经典方法更高效地探索广泛的设计空间,最大化强度同时最小化材料使用的创新结构,能够像AlphoGo之于人类经典棋谱一样,突破思维定式,实现机器人本体的更优的设计。
在“AI定义本体”的机器人研发发展趋势下,跨维在这方面进行了首次尝试。近日,跨维智能首款AI定义的具身智能机器人W1即将全球发布。该机器人由跨维智能从电机开始全栈自研,包含基于AI的机械结构设计优化、控制系统开发、感知系统搭建以及具身智能大模型等各个模块,机器人本体在技术协同性、整体稳定性等方面更具优势,能更好、更精准、更快速地展现具身智能大脑的能力,赋予大脑一个“指哪打哪”的躯体,展现出更强劲的性能表现。
▍具身智能机器人最高效演化与训练场
技术实现上,具身智能机器人W1首先得益于跨维自研DexVerse™引擎,这是全球少有的空间与具身智能模型训练引擎,具备“三维数字资产生成-物理仿真-数据合成与标注计算-模型训练-模型验证”全链条自动化能力,是空间智能、具身智能、生成式AI的核心底座。
机器人想要实现灵巧操作,预先训练具身智能模型是一条捷径。DexVerse™引擎作为人形机器人及不同形态具身智能机器人的最佳设计与演化场,能以落地场景和灵巧操作技能为目标,通过设计强化学习奖惩函数,以可微仿真的方式优化机器人构型、运动学、动力学等参数,实现针对作业场景及技能的最佳机器人形态。
基于Sim2Real具身智能引擎,W1具身智能机器人就在本体设计上轻松实现了包含机器人任务执行目标、机器人构型及运动学和动力学参数空间、可微物理仿真引擎等几个关键模块。通过强化学习等方式,跨维智能还针对目标场景和机器人任务技能,在参数空间中进行离散加局部连续优化的方式,实现本体的更优设计;而且这种方式也能实现针对末端执行器以及机器人外观形态等方面的更优设计。
在机器人优化方式上,基于Sim2Real具身智能引擎也可以采用模块化设计加树状搜索的方式,降低学习成本,提升优化效率。这种方式能够在Sim2Real具身智能训练场中,跟机器人技能训练统一目标,在一个框架体系下完成,实现本体设计与任务技能学习的统一。
目前,跨维基于DexVerse™引擎,形成了包括具身智能感知套件、RoPilot新一代机器人控制器、移动操作式复合机器人等一系列软硬件产品,以AnyPick, AnyPlace, AnyInsert, AnySort, AnyScrew等通用技能,赋能智能制造、商业服务、家庭助理等业务板块。
▍“大脑+小脑+感知”擦出最闪亮“本体”火花
具身智能机器人要想大批量落地,大脑、小脑和感知缺一不可。
在一个完整的具身智能机器人中,往往需要“大脑”负责智能规划与决策、自然认知与人机交互、多模态感知与精确定位;“小脑”负责高精度自适应运动控制与身体感知与反馈;传感器作为机器人“感知”物理世界的窗口,才能更好实现任务执行和落地。
跨维智能凭借强力的研发团队,在具身智能机器人W1就做到了“大脑+小脑+感知”的融合,最完整大小脑团队在W1机器人这个整体上迸发出创新的火花。
港中文(深圳)贾奎教授带队组成“最强大脑”
“大脑”是具身智能机器人的核心,由“认知-感知-规划-控制”的具身智能分层模型中的前三个模块组成。针对一个机器人灵巧操作任务,首先机器人“认知”模块需要基于专用于具身任务的大语言模型/多模态大模型,(在认知层面)理解任务目标并拆解成机器人能够执行的基础技能与原动作。随后“感知”模块负责在三维物理世界中进行目标物识别、定位、姿态估计、操作点/姿态估计等;“规划”模块则在空间感知的基础上,规划出机器人用以完成目标任务的动作轨迹。
“认知-感知-规划”作为一个有机的整体形成“大脑”,算法方式上既可以通过分层模型实现,在足量高质量数据下也可以端到端实现。
跨维拥有全球顶尖的“大脑”研发团队,由具身智能、多模态大模型、3D生成式AI 、强化学习等方向权威专家组成。其中带头人贾奎教授是跨维智能创始人,香港中文大学(深圳)教授,全球Top2%顶尖科学家,广东省“珠江人才计划”创新创业团队带头人,人工智能、具身智能、计算机视觉、机器学习等领域权威专家,发表顶级论文百余篇,获CVPR19最佳论文候选,ICDP最佳论文奖,广东省自然科学一等奖。
贾奎教授首创Fantasia3D, Grasp Proposal Networks, PCANet, DehazeNet等深度模型,曾研发出业界领先的深度三维物体检测与姿态估计算法、深度三维物体表面重建算法、深度迁移与域适应学习算法,带领团队多次获得物体抓取与姿态估计等领域权威竞赛冠军;担任TIP, TMLR等顶刊副主编,ICCV/ICML/NeurIPS等AI顶会领域主席。目前带队跨维智能组成了具身智能机器人W1的“最强大脑”。
机器人专家、原三星首席工程师金毅博士带队“最灵小脑”
除了大脑,具身智能机器人还需要对周边环境和本体状态有全面的感知,并能够根据反馈信息及时调整运动。由于周边环境及任务的复杂性,具身智能机器人的运动需要高度的鲁棒性、协调性和精确性。在这个过程中,机器人“小脑”就负责环境与本体的感知和自适应运动控制,能够将环境及本体的各种传感器信息和本体的状态信息作为“小脑”的输入,预测即将发生的状况,并计算出当下机器人应该做出的反应。“小脑”随即调整运动控制策略并控制机器人的各个关节做出合适的应对。
机器人领域资深专家、前三星电子首席工程师金毅博士作为CTO带领跨维研发团队,进一步加强跨维在机器人本体控制的协调性和灵活性,为跨维具身智能大脑在各个场景落地提供支撑。
金毅博士本科毕业于浙江大学,博士毕业于韩国科学技术院(KAIST),主要研究方向为机器人控制、运动规划及机器人本体设计。后于三星电子生产技术研究所担任首席工程师,带领百人团队,主导了多款机械臂、移动机器人和复合机器人的研发及量产,攻克了一系列世界级难题,在工业及服务机器人领域拥有二十年的丰富的研发、量产及管理经验。目前支撑起了跨维智能W1的“最灵小脑”打造。
传感器专家吴迪带队研发“最慧双眼”
传感器是机器人感知物理世界的窗口,也是机器人迈向智能化的基础。在机器人在智能化发展过程中,不断对感知、交互、运动和控制等多个模块提出更高要求,而传感器在这些模块中发挥着重要作用。
而视觉传感器是机器人的“双眼”,拥有视觉能使机器人更敏锐地获取外界环境信息。为了让机器人的感知能力接近人类的水平,关键在于充分发挥传感器的感知潜力。跨维智能自研的全系列空间与具身智能传感器,尤其是纯视觉双目结构的Kingfisher系列,能有效适配各类工作环境,无论是室外强光、高反光物品、透明/黑色物品等,均能获取到精确的空间位置信息,交由机器人“大脑”进行与环境的交互。
这背后是资深传感器专家吴迪带队研发的“最慧双眼”。吴迪曾任腾讯高级算法工程师,研发机器人及视觉产品;作为华为高级算法工程师负责华为首款双摄手机三维重建算法,并曾在霍尼韦尔等世界500强企业担任高级工程师职位,具备丰富的视觉传感器产品、三维重建算法等领域的实战经验,获授权发明专利16件。
▍结语与未来
具身智能机器人的落地应用,是从研发到工程落地的系统性问题,从底层运动控制,到上层AI技术,到相互协调配合,都非常具有挑战性,也是贾奎教授、金毅博士、吴迪等一直在探索的事业。
目前,跨维智能拥有全球顶尖的大脑团队,在具身智能引擎、具身智能大模型上取得的成就有目共睹,结合小脑控制、本体研发、传感器研发等方面的专长,尤其是基于“AI定义本体”的新理念,跨维通过自研的DexVerse™引擎,正以最高效、最低成本的方式打通具身智能机器人全链路,加快跨维具身智能机器人的整体研发与落地进程,并稳步迈向Physical AGI的实现。