耗时28天我花8000块做了一款具身智能机械臂

　　良多人对于具身智能最浪漫的幻想，片子切磋了机械人爱德华和人类女友相恋的故事。惹人注目的除了人取机械的缠绵外，还有爱德华何堪称罗曼蒂克史上最大妨碍的铰剪手。尖锐的刀刃形成了爱德华的双手，具有摘花、剪发、等浩繁东西属性，却难以搭建和人类的感情桥梁。具有27万粉丝的b坐up从“同济子豪兄”就操纵开源的大模子打制了一款“具身智能机械臂最小可实践使用”，可以或许自从决策、进行。张子豪是出名的b坐人工智能教育科技博从，其的Read论文阅读神器、三体AI绘画等视频获得了超百万的播放量。他曾正在上海人工智能尝试室工做，被授予MVP微软最有价值专家称号，华为HCDE云享专家，取百度、阿里巴巴、华为、字节跳动等多家大厂合做过。2024年起，他不再只局限于讲课、最前沿的人工智能学问，而是起头身体力行践行那些理论学问，实操上手做起人工智能机械臂。特别是接入多模态大模子后，机械臂其处置问题决策能力较着有了提拔，能实现“听懂人话、看懂图像、指哪打哪”。眼睛：具身智能的“眼睛”指手艺，包罗视觉传感器、听觉传感器、触觉传感器、力觉传感器等物理传感器。这些传感器使智能体可以或许，收集需要的消息以进行决策和步履。大脑：具身智能的“大脑”是指智能体的决策和规划能力，凡是涉及到高级计较模子，如多模态大模子。这些模子可以或许整合视觉、听觉、以及言语、指令等笼统消息，为机械人供给更为丰硕和全面的理解能力。躯干：具身智能的“躯干”涉及到智能体物理施行能力，包罗机械臂、机械腿或其他机械构件的活动节制。机械构件使智能体可以或许按照“大脑”的决策进行现实的物理动做，如挪动、抓取物体或施行其他使命。具身智能体正在模仿出来的场景中无数次地测验考试、进修、反馈、迭代，堆集对物理世界的深度理解，发生大量交互数据，再通过取实正在的不竭交互堆集经验，全面提拔正在复杂世界的从动挪动、复杂使命的泛化能力。张子豪研发的具身智能机械臂项目“vlm_arm”是一个立异的测验考试，它将机械臂、大模子和多模态AI手艺相连系，旨正在建立一个可以或许理解天然言语、视觉消息并施行复杂使命的人机协做智能体。该项目采用了大象机械人Mycobot 280 Pi，一款6度的桌面型机械臂，通过集成狂言语模子和多模态视觉理解模子，如Yi-Large、Claude 3 Opus、GPT4o、Yi-Vision等，付与了机械臂强大的理解和施行能力。通过手眼标定手艺，机械臂可以或许将图像中的像素坐标为本身坐标，施行切确的抓取动做。通过提醒词工程设想人机交互模式，通过智能体agent、智能由选择解锁生成式AI的世界。OpenAI春季发布会发布的GPT4O把文本、视觉、语音多模态端到端集成到了一路，实正给机械人注入魂灵。一人AI的概念指的是小我操纵人工智能手艺来加强本人的工做能力和效率，使得一小我可以或许像一个团队一样高效地工做。这种模式下，人工智能手艺成为小我工做的一部门，帮帮处置各类使命，从而实现“一小我+AI=一整个团队”的结果，进一步说就是人工智能时代的超等个别。做为一人AI的先行者，张子豪将本人的教程发布正在GitHub上，一共获得了13。6kstar，6。4k粉丝。过去五年内，算法工程师曾是稀缺资本，但跟着开源大模子和大模子门槛的降低，算力成为了新的稀缺资本。汗青上手艺前进不竭将复杂问题为庞大的计较使命，如阿尔法Fold处理卵白质布局预测，智能驾驶手艺，以及大模子锻炼。这表白，操纵庞大算力处理复杂问题的能力是鞭策手艺爆炸的环节。提及英伟达的物理AI，子豪认为小我开辟者可自创的有四个杠杆：一是创制复制编纂成本为零的产物，实现一份时间出售多份；二是使用费曼进修法，以教促学，提拔进修结果，好比子豪正在b坐上更新的系列AI课程和AI趣味测评；三是打制小我代表做，做为小我品牌和实力的展现，正在人工智能时代打制属于个别的超等IP；四是强调正在AI时代下，既要利用AI也要创制本人的产物。张子豪正在AI时代的小我IP就是他的科技up从标签和自行制做的机械臂，他看沉具身智能中大模子的主要性。之前的从动化的机械人，被子豪称为“古板的只能施行固定动做跳轰隆舞”。接入大模子后，就像给他吹了一口仙气儿，给他注入了魂灵。他就可以或许理解人类的复杂指令，大千去做出决策，就能跟实正在的物理空间去交互。现正在有良多雷同的说法，我们叫做embodied intelligence，英伟达叫做物理AI（physics AI），李飞飞叫做空间智能。但其实说的都是统一件事，就是机械人可以或许跟实正在的物理世界进行交互。2018年之前，张子豪正在沉庆大学进修土木匠程，取AI相距甚远。看到人工智能的潜力，他起头跨专业考研，花半年从土木到计较机，考到了同济大学交通运输工程学院，读研期间同时正在微软亚洲研究院、IDEA练习。这段跨考自学之旅让子豪认识到：AI的课程太笼统，一个简单的bug本人已经要正在藏书楼啃一下战书的专业理论。那时他就想：“如果本人有一个惹人就好了。他发布了GitHub高赞开源项目、斯坦福CS224W公开课、加强现实、生成匹敌收集等系列前沿课程，并总结出一条进修计较机的黄金：正在武侠小说中，内功是武功的根底，力量代表一小我的根基能力，招数是具体的武功招式，用于实和对敌。数学就像是内功，为计较机科学供给理论根本，包罗离散数学、线性代数等。编程将理论付诸实践，就好像练好武功需要力量，编程技术也需要持续熬炼提拔。算法是处理问题的具体方式，好的算法能高效处理复杂问题，就像好的招数能将仇敌一击致命。视频通俗易懂地了卷积、池化（下采样）、梯度下降、反向，以及ImageNet网坐和几款典范模子。从跨考、读研到工做、创业，他从未放弃本人做为AI惹人的身份。他还要更多的课程，继续那些因艰涩而难以阐释的理论空间。张子豪：b坐出名科技up从，“同济子豪兄”粉丝27。8万，累计播放量超1700万。从沉庆大学土木匠程跨考到同济大学智能交通学院，曾正在微软亚洲研究院练习。结业后正在上海人工智能尝试室、浦江国度尝试室做了两年计较机视觉算法工程师。2023年8月告退创业，担任上海豪兄教育科技无限公司CEO，取华为、字节跳动等多家大厂合做过。本文为磅礴号做者或机构正在磅礴旧事上传并发布，不代表磅礴旧事的概念或立场，磅礴旧事仅供给消息发布平台。申请磅礴号请用电脑拜候。