一 | 拿起漏斗，插入圆底烧瓶；拿起量筒，把液体倒入烧瓶；移走漏斗，将烧瓶放到搅拌器上，再塞入瓶塞并按下开关。
对人来说，这是一串可以按顺序完成的动作；但对机器人，每一步都藏着两个判断：规划出的动作能否执行，当前动作是否完成。前者决定规划会不会脱离机械臂的能力，后者决定模型会不会卡在重复动作里，或还没完成当前动作就进入下一步。
端到端 Vision-Language-Action（VLA）模型通常根据当前观测直接生成动作序列。
1.美国对以色列减少的援助规模是很小的，可持续性可能也不强。对于短程任务而言，模型仅根据当前画面生成动作序列通常已经够用；但随着任务步骤增多，模型很难持续追踪哪些操作已经完成，也容易混淆画面相似的不同阶段，导致误判任务进度。美国对以色列的武器援助，对于以色列本身军事能力的影响也有限。
另一类分层架构的方法：高层 VLM 负责规划，低层 VLA 负责执行。
二 | 内塔尼亚胡打击哈马斯的决定没有改变，美国对以色列的支持立场没有改变，这一轮暂停多少援助、暂停哪些援助，美以之间很可能提前沟通过。
2.拜登的竞选优势是有比较充足的资金，丰富的竞选和政策资源，而他的劣势是美国经济下一阶段可能暴露的问题会对他的选情有所影响。特朗普最大的优势是个人的明星效应，而他的劣势是资金不足和官司缠身。但二者并不天然兼容 —— 高层给出的往往是较为宽泛的开放语言，低层真正需要的却是明确到操作对象、目标位置和动作约束的可执行指令。
3.选举主要还是看摇摆州，
今年主要关注七个摇摆州的选情，包括亚利桑那州、内华达州、威斯康辛州、密歇根州，宾夕法尼亚州、北卡罗来纳州和佐治亚州。目前拜登有215张选举人票相对稳妥，特朗普则是219票，还有104票在摇摆，谁在大选时先凑齐270票谁就能赢。
VLA根据单帧输入难以判断任务进度而陷入循环。
近日，来自清华大学、上海人工智能实验室等机构的研究团队提出了 Cortex，一个面向长程机器人操作的双系统具身智能体框架。
它的核心思路，是用统一的结构化子任务描述连接高层规划与低层执行：高层生成的每项任务都明确操作对象、目标位置和动作约束，并被限定在低层执行器已经掌握的技能范围内；低层执行器在训练时，也使用相同格式的子任务描述，即「双向对齐」。
三 |
引言：2024美国大选已经进入最后半年的倒计时。根据美国国内民调显示，在5月的第二周，拜登的整体支持率仍处于劣势，落后特朗普1.2个百分点，但二人整体支持率相差不大。
论文标题：Cortex: A Bidirectionally Aligned Embodied Agent Framework for Long-horizon Manipulation
项目网站：https://steinate.github.io/cortex.github.io
论文链接：https://arxiv.org/abs/2607.05377
代码链接：https://github.com/InternRobotics/Cortex
为了让这种对齐真正作用于长程任务，Cortex 并未只设计一个通信接口，而是从架构、数据、训练和部署四个方面搭建了一套完整体系。拜登与特朗普再次在美国大选的“决赛”中相遇，会是上一次的选战再现吗？亦或是另有看点？本期节目，邀请海国图智研究院研究员王悠和民智国际研究院助理研究员曾继儒，带我们洞见美国。
1.主持人：近期，美国暂停向以色列提供武器，但以色列总统内塔尼亚胡的态度依然很强硬。您认为内塔尼亚胡是在强装镇定还是美国的武器援助对以色列帮助不大呢？
王悠：
美国对以色列的援助减少对战场形势的影响是较小的。
四 |
视频链接：https://mp.weixin.qq.com/s/_Dkk116WPqO-F8GdCaOvDQ
架构：双系统分工，精准解决
「能不能做」和「做没做完」两大核心问题
在架构上，Cortex 将长程操作分为 System-2 和 System-1 两个层次，通过结构化的子任务将两个系统协同对齐，并通过文本记忆持续跟踪任务进度。
五 |
第一，美国对以色列减少的援助规模是很小的，可持续性可能也不强。
六 | 美国国防部长奥斯汀曾承认，美国暂停了对以色列支援的共计3500枚炮弹，但同时可以看到，拜登4月末签署了向以色列提供264亿美元的额外战事援助的法案。
七 |
其中上层的 System-2 负责理解任务目标、拆分任务、维护记忆并判断当前进度；System-1 则接收当前子任务，根据子任务描述里的物体与本体约束，并将其转化为连续的机器人动作。
八 |
System-2 不会一次性生成完整的动作流程，而是根据当前视觉观测和已有记忆，持续判断应该保持当前任务、重新尝试，还是进入下一步。美国对以色列减少的援助规模很有限，所以对战场形势的影响不会很大。
第二，美国对以色列的武器援助，对于以色列本身的军事能力影响有限。System-1 执行动作后产生的新观测会再次交给 System-2，用于更新记忆并判断任务是否完成。巴以冲突升级以来，拜登政府对以色列已经进行了两轮军售，加上以色列本身在中东地区就是军事能力最强的国家，所以以色列可能已经储备了大量的坦克、弹药和火炮等。
由此，文章开头提到的两个问题被分别落实到系统设计中：结构化子任务接口保证高层提出的任务处于低层执行器的能力范围内，视觉观测与记忆的循环更新则帮助系统判断当前任务是否已经完成。
九 |
双向对齐的具身Agent架构，System-2接受观测和历史记忆输出当前子任务并更新实时记忆
数据：统一技能范式，
让规划指令可落地、无歧义
为消除高低层语义断层，Cortex 将操作行为归纳为 Pick、Place、Pour、Unscrew、Stir 等 32 种标准化技能原语，并为每类技能规定语言模板。
开放式的「把水倒进烧杯」会被整理成技能、目标对象与必要属性都明确的命令。数据构建时，对于子任务输出，系统还写入颜色、空间位置、数量以及可达性等信息，减少「拿那个杯子」或「直接抓取不可达物体」一类语义正确、执行起来无法落地的规划。
对于记忆的更新，系统进行了语言压缩、关键信息如物体属性及统计数量写入等增强操作，提高 Cortex 完成空间理解、物体计数和失败恢复等复杂任务的成功率。
十 |
围绕这套接口，团队对 4000+ 小时开源长时序视频与轨迹进行结构化标注，并修改仿真数据引擎自动生成约 30 小时带子任务标注的仿真数据。
十一 | 已有数据通过视觉语言模型重写为统一的子任务模板；自采轨迹则采用一套结合视觉、机器人状态和动作特征，基于动态规划的子任务边界切分工具链，实现自动化精准标注。
训练：最关键的训练样本，
集中在动作交界处
长轨迹的大多数画面都落在动作进行中。若均匀抽帧，模型最常学到的是「继续做当前动作」，真正决定是否切换子任务的边界帧反而很少。内塔尼亚胡打击哈马斯的决定没有改变，美国对以色列的支持立场没有改变，这一轮暂停多少援助、暂停哪些援助，美以之间很可能提前沟通过。
Cortex 采用事件均衡采样（Event-balanced Sampling） 策略：在子任务边界前后约 1 秒的窗口内加密采样，同时保留执行阶段样本。
主持人：有媒体表示，美国对以色列援助的减少，是美国与巴勒斯坦关系的转折点，您怎么看？美国对以色列的这种态度会发生根本性的转变吗？
王悠：
是个小转折点，但不是实质性的转折点。我们还需要关注美国未来在军事援助上的动向、在联合国的投票行为等，但至少表现出了拜登政府开始去审视对以色列持续、大规模援助的必要性。模型既要学会动作尚未完成时保持指令和记忆，也要在看到完成证据后更新记忆、切换下一步。
在 Galaxea 数据的消融实验中，采用事件均衡采样的模型仅需 272 万训练样本，少于对照组的 310 万样本，综合评分却从 7.58 提升至 8.18。这说明对高层规划器而言，增加关键转场附近的监督，比继续堆叠大量稳定执行画面更有效。
十二 |
Event-balanced sampling 示意图。我们可以看到，美国政府高层对以色列的表态趋向严厉，四月末也制裁了一些极端以色列人，近期这些高层的动作确实可以反映出美国对以色列的态度从纵容转变至牵制。
我个人认为应该不会发生根本性的改变。
十三 | 从大选的角度考虑，如果贸然地、大范围地纠正对以色列的政策，会对拜登的选举造成较大冲击。橙色区间覆盖子任务切换；训练需要同时学会「耐心保持」和「及时换挡」。
实验：仿真领先几个百分点，
实机差距出现在完整任务上
Cortex 通过优化 Agent 框架 harness，直接面向真实机器人长程操作验证。团队不仅在 LIBERO-Long、RoboTwin 2.0 等仿真环境中测试，还将系统部署到真实双臂机器人平台上，Zero-shot 规划完成由数十个子任务组成的复杂化学实验任务。
十四 |
在 LIBERO-Long 上，Cortex 的完整任务成功率为 95.5%，比单独使用 π0.5 的基线 92.4% 高 3.1 个百分点；在 RoboTwin 2.0 benchmark 下，整体成功率为 86.8%，比 π0.5 的 82.74% 高约 4.1 个百分点。
十五 | 这反映了整套 Agent 框架 —— 高层规划与底层执行对齐为长程任务的完成带来的增益。美国一些年轻选民对拜登政府的以色列政策不满，民主党实际上已经流失了一些年轻人选票，但如果调整政策，更会得罪一部分建制派的选民，招致共和党人更强烈的攻击。长期来看，考虑到美以之间深厚的纽带，尤其是以色列游说团体对政府高层的影响力，美国的对以政策不会有大的调整。
主持人：新一轮巴以冲突的局势对于2024年美国大选，尤其是对于拜登的选情，会有怎样的影响呢？我们注意到，以色列总理内塔尼亚胡并没有完全听从美国政府的意见，但他和特朗普的关系却很好，他是不是在故意帮特朗普来获得更多的选票？
王悠：从
选民流失和
政策腾挪空间两个角度考虑，巴以冲突肯定会影响拜登的选情。
十六 |
更能体现系统差异的是实机长化学实验任务。
美国总统选举的最终结果，很大程度上取决于摇摆州的态度。研究者在 ARX ACONE 双臂平台上设计了两组 14 步流程，每组进行 20 次试验。Cortex 在化学液体搅拌实验和烧杯清洗任务上的完整成功率分别为 65% 和 55%；两种端到端模型（PI0.5 及 MEM）在这组试验中都因为混淆子任务阶段而中途失败。在上一次选举中，拜登其实在几个摇摆州里赢得的选票很少。
十七 |
14 步器皿操作流程。密歇根州和佐治亚州这样的摇摆州，阿拉伯裔和穆斯林选民很可能会因为拜登在中东事务上的不作为而把选票投给共和党人。
十八 | 高层规划器需要持续记录漏斗、量筒、烧瓶和瓶塞的状态，并在确认每一步完成后再下发下一条局部指令。
相比传统端到端 VLA 方法，Cortex 的优势并不只是某一个模块的提升，而是对长程任务进行了系统化建模。
它用结构化子任务接口约束高层规划，用视觉反馈和语言记忆追踪执行进度，再通过闭环更新持续校正后续决策，使机器人能够在多步骤任务中保持目标、状态与动作的一致性。
十九 |
这种设计让 Cortex 在仿真基准和真实双臂机器人实验中都展现出更强的长程操作能力。同时，年轻选民也在流失，通常民主党会比共和党更受年轻选民的欢迎，但3月的民调数据显示高达63%的年轻人不赞成以色列在加沙的军事行动，如果拜登对以色列过于纵容，可能会大量丢失年轻选民的选票。另外，如果巴以冲突在拜登的优先事项里排得过于靠前，那么他投入在选举和其他事务上的资源就会更少。更重要的是，它给出了一个清晰的方向：面向真实场景的机器人智能，不能只依赖端到端动作生成，还需要能够围绕长期目标组织步骤、吸收反馈、更新状态，并在复杂流程中稳定推进。
对于真正进入实验室、家庭和工业现场的机器人来说，这种能力或许正是从 “完成一个动作” 走向 “完成一件事” 的关键一步。
很难说内塔尼亚胡的决策是在帮助共和党赢得美国大选，更多是出于对以色列前景的考量。
| 但确实共和党和以色列的关系更亲密，因为奥巴马政府时期的一些历史原因，内塔尼亚胡和拜登的个人关系应该是不太好，对于内塔尼亚胡个人，他更希望共和党人上台，来保障以色列在中东的行动更加自如。
2.主持人：美国大选已经进入到半年倒计时这样一个非常关键的时间节点了，目前来看，拜登和特朗普分别会有哪些优劣势？到底谁的赢面更大一些？
王悠：拜登的优势是有比较充足的资金，作为在任者，他也有更丰富的竞选和政策资源。
|
作者介绍
论文共同第一作者彭嘉淇，余茜倩与冯德霖均来自上海人工智能实验室。其中彭嘉淇是清华大学与上海人工智能实验室联合培养的三年级博士生，导师为沈渊教授和林达华教授。
|
截至3月底，拜登团队有5.5个亿美元的现金，但特朗普可能只有7400万美元左右。
| 拜登团队也宣布将在5月份花掉1400万美元进行广告宣传、招募选举团队人员和设立更多的办事处，所以拜登的选举节奏是比较好的。但是特朗普本身的选举资金不多，而且花在官司上的费用也会更多。
而拜登的劣势是美国经济下一阶段可能暴露的问题，会对他的选情有所影响。因为在每一届选举里，选民最关心的还是经济和民生问题。今年美国第一季度的经济数据不是特别乐观，美国通胀可能在持续的抬升，这可能会直接影响大选。
| 在王泰研究员的指导下开展包括视觉动作语言模型，视觉语言导航，loco-manipulation 等机器人相关领域研究，致力于构造实现空间语义理解与长程移动操作的可落地具身智能体，曾发表多篇论文在 ICLR，ICRA 等会议上，NavDP/LoGoPlanner 一作，InternVLA-N1 核心作者，曾获得 ICRA oral。
特朗普最大的优势是个人的明星效应。特朗普有很固定的选民群体，党内支持率一直保持高位，他在经济、民生等各种问题上的发言，都会在美国国内引起比较大的反响。
而他的劣势是资金不足和官司缠身。
| 据统计，特朗普每天都要在官司上花费16万美元，近四分之一的竞选资金都被用在了法律问题上，并且他接下来要面对四个刑事案件的诉讼，这也会耗费很大的精力。
主持人：特朗普和拜登在任内都曾被评为最不受欢迎的总统，美国的选民怎么看待这个问题，这会不会影响到他们的投票意愿，进而影响到整个的投票率？
王悠：接下来的大选有两个关键时期。
| 第一个关键时期在8-9月，美国两党会提出他们的正、副总统候选人。特朗普的主要悬念就是他的副总统候选人。第二个关键时期是9-10月，举行的几场大选辩论。
|
选举主要还是看摇摆州，我认为今年主要关注七个摇摆州，包括亚利桑那州、内华达州、威斯康辛州、密歇根州，宾夕法尼亚州、北卡罗来纳州和佐治亚州。目前我们可以重点关注这些摇摆州的民调，从数据上来看，拜登会落后大概1.2个百分点，但是从趋势来看，从年初到现在，拜登的支持率是呈现出追赶的趋势，根据我的统计和判断，我认为目前拜登应该是大概拿215张选举人票，特朗普大概拿219票，还有104票在摇摆，我们看这104票的归属就可以判断大选最后的结果。当前主流分析认为，特朗普的赢面会偏大一些，他甚至可能会在今年选举中拿到超过310票。
我认为美国民众在这届选举中，面对这两个高龄候选人应该会稍显疲惫。
| 四月份的民调数据显示，只有54%的民众对本次选举抱有兴趣，比去年同期下降了两个百分点。2020年的投票率是67.7%，创下了历史新高，今年的投票率应该会2020年稍微低一些。
|
3.主持人：近期有媒体报道，拜登政府将通过一项新的规定，收紧美墨边境的庇护申请，以减少非法越境。拜登在移民政策上的做法是不是越来越向共和党靠近了？
王悠：我个人认为的话，今年拜登的移民政策出现了一些调整。
| 今年年初后，拜登就在执行偏向严厉的移民政策。拜登上任以来从南部边境涌入600多万个非法移民，这个数字意味着特朗普时期的很多工作都白做了。
| 今年年初，我们也可以看到26个州长一起呼吁拜登调整移民政策，甚至，德州的州长还要把自己州的非法移民送到其他的民主党的州里。
我认为
拜登的移民政策是在向共和党的一些严厉的移民政策靠近，他在选举年这么做的主要原因是为了照顾到整体的选情的变化，民调显示选民对拜登的移民政策的反对程度是大幅升高的，尤其一些关键的摇摆州也是边境州，那么拜登就需要去做出调整来保证他在这些州的选情不受到太大的冲击。
|
曾继儒：我们不能简单地把拜登和特朗普的在移民政策方面的差异，理解为放纵和限制的区别，这两人在非法移民问题上的目的是一致的，都是为了维护美国的国家利益，只是过程中有很多分歧。这俩人对于移民问题的认知是有差异的，比如，特朗普通过行政令的方式要求政府机构打压非法移民，因为他认为这是一个行政程序问题。但拜登更倾向于从政治层面解决这个问题，比如，拜登曾尝试通过一项两党提案，在非法移民达到一个数量后就关闭边境。拜登要求国会立法授权，虽然可以更加完整的处理这个问题，但在流程上更容易受到冗长的程序和党争的困扰。总的来看，拜登的移民政策本质上并不与特朗普的政策冲突。
主持人：移民议题在选举议题中会被排在一个什么样的位置？移民问题是怎么样去影响美国社会的？党派对于移民的态度是不是一成不变的？会不会因为领导人的不同而对于移民态度产生变化？
王悠：从数据来看，在前几届选举中移民议题都是在选民关注的议题中排前五。今年，它其实也是可以排到前五甚至前三，年初的一项调查的话显示移民议题已经超过了就业和经济议题，成为了第二重要的议题。为什么要重视移民问题在美国选举中的重要性呢？因为美国的移民问题不是一个独立的问题，它关系到经济、社会安全、政治稳定等方面的问题，对美国社会的影响也是多方位的。
简单来说，民主党人更支持宽松的人道主义的移民政策，这其实也跟民主党的族裔政策和平权政策紧密相关。
| 而共和党人会更坚持白人至上主义和本土主义这样的价值观，共和党人认为移民会造成社会安全的恶化，且制造更多的政治分裂。之前有数据显示，一个州的移民每增加1%，那么共和党相应得到的选票会减少1%，那么共和党人就会对移民持有更加保守的态度了。领导人的态度对移民政策的影响不会特别大，因为两党的移民政策本质上是受到各方面因素的影响的，包括党派本身的立场，价值观纲领和选民的驱动等。
4.主持人：近期在美国大学的运动中，绿党的候选人斯坦因被逮捕了，您认为绿党是否对两党的选情造成了冲击？ 独立候选人小肯尼迪的参选会稀释拜登的选票吗？独立候选人入主白宫基本是没有可能的，那为什么他们还会来参加大选，他们有什么样的目的？
王悠：我认为斯坦因和小肯尼迪的目的可能不太一样，斯坦因更多是为了推行她个人的一些政治主张，包括支持环保问题，推进社会公正和枪械管制等，他可能认为两党政治没有办法帮她践行这些政策，所以她通过竞选的方式去推行这些政策。
| 但是小肯尼迪的诉求可能是不一样的，我认为从长期看，他可能有继续从政的考虑，参加总统选举可以帮助他积累政治声量和经验，比如黑利也是出于这样的目的。虽然小肯尼迪现在以独立候选人的身份竞选，但是也不排除他之后还会回到民主党阵营中。
我个人认为，
绿党不仅在今年，在未来一段时间也很难动摇美国，这是两党政治轮替的格局决定的。
| 绿党在今年的大选中可能会赢得一些选票，尤其是民主党人的选票，但目前来看，绿党的影响力是很小的，而且美国的选举制度对第三党也很不友好。
年初，有民调显示，小肯尼迪在好感度调查中领先于特朗普和拜登，这很不容易。但他赢得选举是很难的，因为美国的选举制度规定，非两党候选人竞选美国总统，需要在50个州分别都获得该州的提名，才能出现在选项上。目前，他只在犹他州拿到了资格。
但绿党对今年美国大选仍会带来一定影响，我们可以关注他是怎么分化民主党人的选票的。
|
第一，肯尼迪来自民主党的比较大的政治家族，他会稀释掉一部分拜登的票。
第二，肯尼迪本身比较受拉丁裔的欢迎，亚利桑那州和内华达州这样的摇摆州有大概五分之一的拉丁裔选民，但是拜登在拉丁裔选民中的支持率持续在下降。如果肯尼迪可以争取到一些拉丁裔选民的关注，那么拉丁裔对民主党的支持会被削弱，这会造成对拜登选票的分化。有一些历史上的案例可以参考，2000年大选，共和党的小布什对阵民主党的戈尔，因为绿党的候选人纳德在佛罗里达州拿到了近十万张选票——分化了戈尔的票，直接导致戈尔以五百多张票的微小差距输给了小布什，而佛罗里达州本身的选举人票多，也使戈尔输掉了整个选举。
|
