Paper List
-
Evolutionarily Stable Stackelberg Equilibrium
通过要求追随者策略对突变入侵具有鲁棒性，弥合了斯塔克尔伯格领导力模型与演化稳定性之间的鸿沟。
-
Recovering Sparse Neural Connectivity from Partial Measurements: A Covariance-Based Approach with Granger-Causality Refinement
通过跨多个实验会话累积协方差统计，实现从部分记录到完整神经连接性的重建。
-
Atomic Trajectory Modeling with State Space Models for Biomolecular Dynamics
ATMOS通过提供一个基于SSM的高效框架，用于生物分子的原子级轨迹生成，弥合了计算昂贵的MD模拟与时间受限的深度生成模型之间的差距。
-
Slow evolution towards generalism in a model of variable dietary range
通过证明是种群统计噪声（而非确定性动力学）驱动了模式形成和泛化食性的演化，解决了间接竞争下物种形成的悖论。
-
Grounded Multimodal Retrieval-Augmented Drafting of Radiology Impressions Using Case-Based Similarity Search
通过将印象草稿基于检索到的历史病例，并采用明确引用和基于置信度的拒绝机制，解决放射学报告生成中的幻觉问题。
-
Unified Policy–Value Decomposition for Rapid Adaptation
通过双线性分解在策略和价值函数之间共享低维目标嵌入，实现对新颖任务的零样本适应。
-
Mathematical Modeling of Cancer–Bacterial Therapy: Analysis and Numerical Simulation via Physics-Informed Neural Networks
提供了一个严格的、无网格的PINN框架，用于模拟和分析细菌癌症疗法中复杂的、空间异质的相互作用。
-
Sample-Efficient Adaptation of Drug-Response Models to Patient Tumors under Strong Biological Domain Shift
通过从无标记分子谱中学习可迁移表征，利用最少的临床数据实现患者药物反应的有效预测。
用于快速适应的统一策略-价值分解
Computational Neuroscience Unit, Istituto Superiore di Sanità, Rome, Italy | Ospedale Santa Lucia, Rome, Italy | School of Computer Science, University of Sheffield, United Kingdom
30秒速读
IN SHORT: 通过双线性分解在策略和价值函数之间共享低维目标嵌入，实现对新颖任务的零样本适应。
核心创新
- Methodology Bilinear co-decomposition of actor and critic with shared multiplicative gating coefficients Gk(g)
- Methodology Zero-shot adaptation via single forward pass estimation of Gk(g) without gradient updates
- Biology Biologically inspired multiplicative gating mechanism analogous to gain modulation in cortical neurons
主要结论
- 单层双线性模型比标准双层MLP基线更快地获得更高奖励（图1B-C），通过乘法结构证明了学习效率的提高。
- 演员和评论家之间的共享G空间产生与单独门控相当的性能（图1D），同时减少了参数并实现了连贯的潜在控制接口。
- 对未见方向的零样本泛化显示性能下降有限（图2E），目标嵌入空间中的平滑插值支持新方向适应。
摘要: 复杂控制系统中的快速适应仍然是强化学习的一个核心挑战。我们引入了一个框架，其中策略和价值函数共享一个低维系数向量——目标嵌入——它捕获任务身份，并能够在无需重新训练表示的情况下立即适应新任务。在预训练期间，我们通过双线性演员-评论家分解共同学习结构化价值基和兼容策略基。评论家分解为Q(s,a,g)=∑kGk(g)yk(s,a)，其中Gk(g)是目标条件系数向量，yk(s,a)是学习的价值基函数。这种乘法门控——其中上下文信号缩放一组状态依赖的基——让人联想到在第5层锥体神经元中观察到的增益调制，其中自上而下的输入调节感觉驱动响应的增益而不改变其调谐[1]。基于后继特征，我们将分解扩展到演员，它由一组由相同系数Gk(g)加权的原始策略组成。在测试时，基被冻结，Gk(g)通过单次前向传播进行零样本估计，从而无需任何梯度更新即可立即适应新任务。我们在MuJoCo Ant环境中训练了一个软演员-评论家智能体，目标为多方向运动，要求智能体以八个指定为连续目标向量的方向行走。双线性结构允许每个策略头专门处理方向子集，而共享系数层在它们之间泛化，通过在目标嵌入空间中插值来适应新方向。我们的结果表明，共享的低维目标嵌入为高维控制中的快速、结构化适应提供了一种通用机制，并突显了复杂强化学习系统中高效迁移的潜在生物学合理原则。