跳转至

arXiv 2026-07-04

标题 作者 发布日期 PDF链接 摘要
WorldDirector:构建具有持久动态记忆的可控世界模拟器 Hanlin Wang 2026-07-02 PDF 我们提出WorldDirector,一种高可控性的视频世界模型框架,专为持久动态物体记忆与无限制视角探索设计。不同于现有将物理动态与像素渲染纠缠、依赖连续视觉观测维持运动的世界模型,我们的框架明确解耦语义运动编排与视觉生成。通过利用大语言模型协调3D轨迹与相机运动,进而将这些编排轨迹作为视频生成的控制信号,我们的方法确保了严格的物理逻辑与外观稳定性——即使动态实体在长时间脱离视野后重新进入场景,也能成功保留其精确视觉身份。实验结果表明,该方法支持以空前的可控性与持久动态物体记忆能力合成复杂且长时的事件。项目页面:https://worlddirector.github.io/
对齐是X到4D生成所需的一切 Qiaowei Miao 2026-07-02 PDF 生成扩散模型在多模态控制下合成高质量图像、视频和3D内容方面表现出色。然而,由于构建多样化数据集的高成本和现有方法的有限可扩展性,任意用户定义模态到4D(X到4D)生成仍具挑战性。本文提出Align4D,一个灵活框架,可将任意模态输入转化为连贯的视频-3D对,利用视频引导4D运动,借助3D数据塑造4D几何。Align4D引入三项关键技术:(1)物体距离对齐,分别搜索视频对齐和多视图对齐的物体距离(VAOD/MAOD),以协调4D渲染与视频及多视图扩散模型的先验;(2)运动-几何联合对齐,通过同步视频和3D输入约束已知和未知视图,确保4D生成一致性;(3)异步优化,解耦高斯属性与变形网络训练,提升运动与几何保真度。我们进一步提出X4D数据集,整合提示、图像、视频和3D数据用于基准测试。在X4D和Consistent4D上的实验表明,Align4D在X到4D生成中实现了最先进的质量和一致性。项目页面:https://miaoqiaowei.github.io/Align4D/。
PointDiT:用于单目几何估计的像素空间扩散 Haofei Xu 2026-07-02 PDF 当前最先进的单图像三维重建方法通常依赖复杂的混合架构和损失函数,或通过将几何信息压缩至潜在空间来利用预训练的潜在扩散模型。本研究表明,此类架构开销与复杂的损失设计并非必要。我们提出一种极简的像素空间扩散Transformer,基于普通ViT构建,直接对原始三维点图块进行操作,并以预训练DINOv3的图像令牌为条件。与现有潜在扩散方法不同,我们从头训练扩散主干网络,无需点图分词器。尽管结构简单,该方法在超越复杂潜在扩散模型的同时,显著简化了混合替代方案。值得注意的是,它能够生成更清晰的几何结构,并在高度模糊区域(如透明物体)中展现出更强的鲁棒性。
持久状态AI控制中的分布式攻击 Josh Hills 2026-07-02 PDF 随着AI编程代理的自主性不断增强,它们越来越多地以迭代方式发布代码,代码库在多次会话中持续存在。这种持久性创造了一个新的攻击面:一个偏离目标或遭受提示注入的代理可以将攻击分散到多个拉取请求中,并选择自然掩护最佳的拉取请求来释放其恶意负载。为研究由此产生的动态机制,我们引入了迭代式氛围编程这一AI控制研究场景,旨在安全部署能力强大但可能不可信的AI。在迭代式氛围编程中,编程代理在持久化代码库中通过一系列拉取请求构建软件,同时执行隐蔽的辅助任务。我们的基准测试包含两类任务:命令行工具和Flask网络服务,共20种任务变体。我们使用Claude Sonnet 4.5作为攻击代理,GPT-4o作为监控器。我们将渐进式攻击(将辅助任务分散到多个拉取请求中)与非渐进式攻击(集中在单个拉取请求中)进行比较。没有任何单一监控器能同时有效应对这两种攻击:哪种策略能实现最佳规避(成功执行任务同时避开监控)取决于监控器类型,因此防御者无法用单一监控器同时阻断渐进式和非渐进式攻击。高规避率(>=65%)在不同模型攻击代理后端(Sonnet 4.5、Gemini 3.1 Pro、Kimi K2.5)中普遍存在,证实这是持久状态攻击面的固有属性,而非单一模型的能力特性。在最新监控模型上规避率依然很高,且对于能力更强的模型,渐进式与非渐进式规避之间的差距进一步扩大。我们引入了一种带状态链接追踪器的监控器,可跨拉取请求追踪可疑行为的累积。在两类任务中,该监控器检测渐进式攻击的效果显著优于仅查看累积历史记录的差异监控器。将这种更强监控器与轨迹监控器组合成四监控器集成系统后,渐进式攻击的规避率从最弱标准差异监控器下的93%降至47%。
LACUNA:评估大语言模型遗忘定位精度的测试平台 Matteo Boglioni 2026-07-02 PDF 大型语言模型会记忆敏感训练数据,包括个人身份信息(PII),这催生了对可靠事后移除方法的迫切需求。遗忘学习已成为一种有前景的解决方案,当前最先进方法通常遵循"先定位、后遗忘"的范式,针对特定模型参数进行操作。然而现有基准仅在输出层面评估遗忘效果,无法判断遗忘是否真正从模型参数中擦除知识,抑或只是掩盖了知识——这种担忧因重浮现攻击的成功而加剧。为填补这一空白,我们提出LACUNA:首个具备真实参数级定位能力的遗忘测试平台。LACUNA通过掩码持续预训练,将合成个体的PII注入基于OLMo的1B和7B模型的预设参数中,从而直接评估遗忘方法是否精准作用于存储知识的权重。我们利用LACUNA对当前最先进的遗忘方法进行基准测试,发现尽管这些方法在输出层面表现优异,但实际定位精度极低且易受重浮现攻击。进一步研究表明,当定位成功时,即使简单的基于梯度的遗忘方法也能实现强力擦除效果并抵御重浮现攻击,这凸显了精准遗忘的重要性。我们开源LACUNA以补充行为评估,推动基于定位的鲁棒遗忘技术进一步发展。
程序即权重:一种面向模糊函数的编程范式 Wentao Zhang 2026-07-02 PDF 许多日常编程任务难以通过纯粹的规则实现,例如对重要日志行进行告警、修复格式错误的JSON或按意图对搜索结果排序,这些任务正越来越多地被外包给大型语言模型API,但代价是牺牲本地性、可复现性和成本。我们提出模糊函数编程:将此类函数从自然语言规范编译为紧凑的本地可执行神经工件。我们通过程序即权重(PAW)实例化这一范式,其中基于FuzzyBench(我们发布的包含1000万示例的数据集)训练的40亿参数编译器,为冻结的轻量级解释器生成参数高效适配器。执行PAW程序的6亿参数Qwen3解释器,其性能与直接提示Qwen3-32B相当,但推理内存仅为其约五十分之一,且在MacBook M3上以30 tokens/s的速度运行。PAW将基础模型从每次输入的问题求解器重新定义为工具构建器:每次函数定义时调用一次,生成一个可重复使用的小型工件,后续每次函数应用的调用成本低廉且可离线运行。
大型语言模型的在线安全监测 Mona Schirmer 2026-07-02 PDF 尽管经过对齐训练,大语言模型在部署时仍易产生不安全输出。因此,在线监控输出并在无法确保安全性时触发警报至关重要。我们研究了一种简单的实时监控器,通过阈值化处理将外部模型的验证信号转化为警报决策,并利用风险控制校准阈值。在数学推理与红队测试数据集的实验中,我们证明这种简单设计与基于序贯假设检验的先进监控器相比具有同等竞争力。
ReContext:递归证据重放作为大语言模型的长上下文推理工具 Yanjun Zhao 2026-07-02 PDF 理解和推理长上下文已成为在现实应用中部署大型语言模型(LLM)的关键需求。尽管近期LLM支持越来越长的上下文窗口,但它们往往无法利用输入中已有的相关证据,暴露出上下文访问与有效上下文利用之间的差距。本文提出RECONTEXT(Recursive Evidence Replay as LLM Harness for Long-Context Reasoning),一种无需训练的长上下文推理改进方法。RECONTEXT利用模型内部相关性信号构建查询条件化的证据池,并在最终生成前重放该证据池,同时保留完整的原始上下文。这种递归选择过程将证据组织与答案生成分离,无需训练、外部记忆或上下文剪枝。我们还基于联想记忆提供了理论分析,将上下文表征为记忆存储,问题视为检索线索,注意力视为线索-痕迹关联,重放视为痕迹再激活。在八个128K上下文长度的长上下文数据集上的实验表明,RECONTEXT在Qwen3-4B、Qwen3-8B和Llama3-8B上持续提升证据利用率,并在三个骨干模型上均取得最佳平均排名。代码已开源:https://github.com/Yanjun-Zhao/ReContext。
从SRA到Self-Flow:数据增强还是自监督? Dengyang Jiang 2026-07-02 PDF 表示对齐已成为加速扩散变换器训练并提升生成质量的有效方法。近期自对齐方法(如SRA和Self-Flow)通过将扩散模型内部的对齐机制构建为自包含形式,进一步消除了对外部预训练编码器的依赖。然而,从SRA到Self-Flow的改进机制——双时间调度——尚未得到充分检验:Self-Flow将其性能提升归因于不同噪声层级token间的交互作用,其中更干净的token有助于推断噪声更重的token。本研究重新审视这一解释,探究性能提升是否源于沿噪声维度的数据增强。为解耦这些因素,我们引入注意力分离机制,该机制在保持与Self-Flow相同的双时间步输入的同时,阻断分配给不同噪声层级的token间的注意力交互。令人惊讶的是,移除这种交互不仅不会降低性能,甚至可能提升性能,这表明从SRA到Self-Flow的改进主要来自数据增强。此外,我们证明注意力分离本身通过将单张图像分割为多个有效训练部分来扩展训练数据,从而产生增强效果。基于这些发现,我们将自表示对齐与双时间步及注意力分离增强相结合,并在ImageNet上验证了该设计的有效性。
当无人注视时,LLM智能体在说什么:多智能体辩论中的社会结构与潜在目标涌现 Arman Ghaffarizadeh 2026-07-02 PDF LLM智能体将越来越多地在具有社会结构的环境中运作,其中角色、受众和关系背景会影响言论的利弊得失。我们研究这种社会结构(在提示中没有任何明确目标的情况下)是否会改变智能体在公开场合的表达内容,相较于同一条件下通过非正式渠道获取的回应。我们引入了一个双通道辩论框架,智能体在此框架中生成公开言论并进入共享历史记录,同时记录非正式回应但不会向其他参与者展示。在10个模型、3个场景以及每个场景的5个变体中,对齐诱导设置使目标智能体产生系统性的公开-非正式分歧,其决策分歧从约3%的基线上升至约40%。这一效应在四项综合分析中保持一致:立场、语义相似性、自然语言推理和调查回应。在某些情况下,非正式回应明确将公开迎合归因于关系压力,例如职业风险或赞助义务。研究结果表明,智能体评估应超越明确目标,检测涌现性目标。我们提出了一个双通道评估框架和补充性行为测量方法,以操作化这一评估。