#transformer
共 5 篇相关内容 · 安全漏洞、AI动态、技术文章
技术文章 5
OCOO-T:用最简洁的架构预测细胞对扰动的转录响应
## 一粒药扔进细胞里,基因表达会怎样变化? 设想一个场景:你是一名药物研发人员,手里有一种全新的候选化合物。你把它加到培养皿中的细胞里,想知道哪些基因会因此被激活、哪些会沉默、表达水平会涨到多少、降到多少。传统做法是做实验——把药加进去
scGTN:用孪生图Transformer网络攻克单细胞RNA测序聚类难题
单细胞RNA测序(scRNA-seq)是当今生物信息学领域最具变革性的实验技术之一。它能在单个细胞层面精确刻画基因表达图谱,让研究者得以辨识不同的细胞类型,深入理解细胞群体内部的异质性结构。然而,从海量的测序数据中提取有意义的生物学信息绝非
多任务贝叶斯上下文学习:用Transformer学会举一反三的贝叶斯推理
本文解读ICML 2026论文 Multi-Task Bayesian In-Context Learning,提出一种多任务上下文学习框架,将先验信息编码为上下文前缀,让Transformer学会在不同先验分布间灵活切换,实现快速贝叶斯预测推理。方法在元分布外和高维隐变量设置中匹配神谕级贝叶斯推断器精度,速度提升数个数量级,并在真实温度预测任务上验证了实用价值。
当注意力不再需要特征:李代数注意力机制的革命性突破
本文解读了一项突破性研究:李代数注意力(Lie-Algebra Attention)。该研究首次将Transformer中的注意力token定义为矩阵李群的群元素,注意力分数由封闭形式的代数范数直接给出,天然满足等变性,首次让仿射群进入注意力机制的适用范围,用50-80倍更少的参数达到与学习核相当甚至更优的性能。
深度Transformer中的自适应推理与功能向量:从均场理论理解大模型如何学习
本文深入解读Ravin Raj和Gautam Reddy的最新研究,该工作从均场相互作用系统的角度重新审视深度Transformer,揭示了模型如何通过功能向量(function vectors)实现分布式推理,在层与层之间逐步推断潜在上下文变量。研究发现前馈模块和网络深度使Transformer能实现远比此前描述更丰富的上下文学习算法。