Paper List
-
Evolutionarily Stable Stackelberg Equilibrium
通过要求追随者策略对突变入侵具有鲁棒性,弥合了斯塔克尔伯格领导力模型与演化稳定性之间的鸿沟。
-
Recovering Sparse Neural Connectivity from Partial Measurements: A Covariance-Based Approach with Granger-Causality Refinement
通过跨多个实验会话累积协方差统计,实现从部分记录到完整神经连接性的重建。
-
Atomic Trajectory Modeling with State Space Models for Biomolecular Dynamics
ATMOS通过提供一个基于SSM的高效框架,用于生物分子的原子级轨迹生成,弥合了计算昂贵的MD模拟与时间受限的深度生成模型之间的差距。
-
Slow evolution towards generalism in a model of variable dietary range
通过证明是种群统计噪声(而非确定性动力学)驱动了模式形成和泛化食性的演化,解决了间接竞争下物种形成的悖论。
-
Grounded Multimodal Retrieval-Augmented Drafting of Radiology Impressions Using Case-Based Similarity Search
通过将印象草稿基于检索到的历史病例,并采用明确引用和基于置信度的拒绝机制,解决放射学报告生成中的幻觉问题。
-
Unified Policy–Value Decomposition for Rapid Adaptation
通过双线性分解在策略和价值函数之间共享低维目标嵌入,实现对新颖任务的零样本适应。
-
Mathematical Modeling of Cancer–Bacterial Therapy: Analysis and Numerical Simulation via Physics-Informed Neural Networks
提供了一个严格的、无网格的PINN框架,用于模拟和分析细菌癌症疗法中复杂的、空间异质的相互作用。
-
Sample-Efficient Adaptation of Drug-Response Models to Patient Tumors under Strong Biological Domain Shift
通过从无标记分子谱中学习可迁移表征,利用最少的临床数据实现患者药物反应的有效预测。
Transformer的神经科学
Institute of Cognitive Science, University of Osnabrück | Department of Neuroscience, Erasmus MC
30秒速读
IN SHORT: 提出了Transformer架构与皮层柱微环路之间的新颖计算映射,连接了现代AI与神经科学。
核心创新
- Methodology Introduces a granular mapping where cortical columns correspond to transformer tokens, rather than whole cortical areas mapping to ANN layers.
- Biology Hypothesizes that laminar pathways (L4→L2/3 as Values, L1 feedback as Queries, tangential streams as Keys) implement self-attention-like multiplicative gating.
- Theory Frames the cortical column as a reusable module performing context-dependent routing and local recoding, analogous to a transformer block.
主要结论
- 皮层柱可以映射到具有特定层状对应的Transformer块:L4→L2/3作为Values(前馈驱动),L1反馈作为Queries(自上而下的上下文),L2/3/L5中的切向流作为Keys。
- 皮层中的乘法相互作用(增益调制、树突非线性)可能实现了自注意力的计算主题,实现了上下文相关的路由,而无需字面的QKV矩阵。
- 这一映射生成了可验证的假设:例如,丘脑驱动仅占约10-15%的突触,计算由皮层内上下文主导(类似于注意力权重覆盖输入嵌入)。
摘要: 神经科学长期以来为人工神经网络的发展提供了信息,但现代架构的成功反过来提出了一个问题:现代网络能否教会我们关于大脑功能的经验?在这里,我们检查了皮层柱的结构,并提出Transformer为皮层微环路组织的多个元素提供了自然的计算类比。我们并非声称Transformer方程在皮层中的字面实现,而是开发了Transformer操作与层状皮层特征之间的假设映射,使用这一类比作为分析和讨论的导向框架。这一映射使我们能够更深入地研究上下文选择、内容路由、循环整合和层间转换如何分布在皮层电路中。通过这样做,我们生成了关于层状特化、上下文调制、树突整合、振荡协调和皮层柱有效连接性的一系列广泛预测和可实验验证的假设。这一提议旨在作为一个结构化的假设,而非对皮层计算的确定性描述。将Transformer操作和皮层结构学置于一个共同的描述框架中,可以锐化问题,揭示新的功能对应关系,并为系统神经科学和现代AI之间的互惠交流开辟一条富有成效的途径。更广泛地说,这一视角表明,在计算组织层面比较大脑和架构可以为两者带来真正的洞见。