「会织网的动物
有几条腿？」
「八条。」
但内部可能先出现了中间概念 「蜘蛛」—— 它从未被说出口。
J-Lens 到底是什么 —— 一种观察模型内部状态的可解释性工具
如何利用 Jacobian（雅可比矩阵） 读取模型内部概念
研究人员如何借助 J-Lens 发现 J-space
为什么 J-space 具有「全局工作空间」特征，以及这项研究意味着什么
基于 Jacobian 的观察工具，像显微镜 / 望远镜——用来「看」模型中间层的内部状态。
用 J-Lens 发现的研究对象——模型中间层里一类特殊的稀疏语义表示，如同显微镜下的「细胞」。
研究人员先设计 J-Lens，再用它观察 Claude 的内部计算，最终识别出一个特殊语义表示区域，命名为 J-space。字母 J 即来源于 Jacobian。
每个 token 进入模型后被转换为高维向量——「苹果」不是汉字，而是几千个数字。
信息逐层加工：词法语法 → 语义识别 → 事实查询 / 推理 → 准备输出。
残差流（residual stream）是各层共享的「黑板」：每层读取、计算、写回。
J-Lens 观察的不是某个孤立神经元，而是某一层残差流中的整个高维激活向量。概念是分布式表示——「蜘蛛」同时分布在许多维度与层中。J-Lens 看的是一个 高维方向，而非「蜘蛛神经元」。
把中间层向量直接送进最终输出矩阵，看它「最像哪个词」。例如第 20 层可能解码出：蜘蛛、动物、网络、腿。
不同层使用不同的「坐标系」。强行用最后一层的输出方式解释中间层，就像拿中文词典去翻译一种尚未完成编码的中间语言——时灵时不灵。
中间层激活记作 h，最终输出记作 y。Jacobian 描述：内部状态每个方向的微小变化，如何改变每个输出方向。
把激活向「蜘蛛」方向轻推一点，若输出中「蜘蛛」「八条腿」概率显著上升 → 该方向与「蜘蛛」概念存在稳定关系。
在「会织网的动物」这一句里，蜘蛛↔八条腿高度相关。但这是普遍稳定机制，还是这个句子的偶然现象？无法分辨。
跨大量 prompt、token 位置、当前→未来位置做平均，得到通用地图：某层激活朝某方向变化，在各种上下文中平均会怎样影响未来输出。
于是中间层激活可经 Jacobian 映射 → 输出层坐标系 → 输出矩阵翻译为 token 排名：
严谨说法：J-Lens 读取的是中间层中具有未来可语言化能力的内部表示——现在没输出，但适当条件下能被说出来、能被后续计算使用。
一边原样抄写与水果无关的句子，一边「心里想着一种柑橘类水果」。输出仍是原句，但 J-Lens 在内部读到 orange · fruit · citrus。
一边输出固定内容，一边心算「三的平方减二」。J-Lens 依次读到 arithmetic → nine → seven——如同内部的临时草稿空间。
用 J-Lens 观察大量内部状态后，发现中间层存在一类特殊的语义方向，具有四个共同特点：
可对应人类能理解的概念：国家、动物、数字、风险、欺骗、诚实、语言…
可以被模型主动保持
可以被后续推理读取
可以同时影响多种不同任务
残差流本身是 4096 维空间，J-Lens 为许多 token 找到对应方向：蜘蛛方向、法国方向、危险方向、欺骗方向…
任一时刻，模型只激活少量与当前任务相关的方向（通常 ≤ 25 个的稀疏组合），其余方向接近于零 —— 这是表示层面的稀疏性。
整个残差流空间是一座高维城市。J-space 不是城市中的一个封闭房间，而是许多可以运输抽象概念的主要道路——不同任务使用不同的道路组合。
说的是网络结构：某个神经元只连接少数其他神经元。J-space 与此无关。
说的是某一时刻：大量潜在概念方向中，只有少量方向具有较高激活。
一个「蜘蛛」概念方向仍可能同时涉及成百上千个神经元——它依然是高度分布式的表示。准确的说法：J-space 是残差流中具有特殊功能的一类稀疏语义表示。
认知科学中的全局工作空间理论：大脑有大量后台过程（视觉、听觉、运动、记忆…），绝大多数不进入主观注意。
但某些重要信息会进入一个共享工作空间，被多个系统共同读取——即「全局广播」。
视觉系统识别车辆 → 注意系统提升重要性 → 语言系统说出「有车」→ 运动系统控制躲避 → 记忆系统联想危险经历。同一条信息，被多个系统共同使用。
Anthropic 发现 J-space 表现出类似特点，并给出四项证据 ↓
让模型内部选一种运动再说出来：J-Lens 提前看到 soccer，模型随后输出足球。进一步干预：把内部 soccer 方向替换为 rugby，最终报告随之变成橄榄球。
J-space 不是旁观者，对输出具有因果影响。
「会织网的动物有几条腿」：内部先形成 spider → 查询腿数 → 得 8。把蜘蛛方向替换为蚂蚁方向，回答转向「六条腿」。
J-space 中的概念是后续推理真正使用的中间变量——如同程序里的 animal = spider。
把 J-space 中的 France 替换为 China，只替换一次，多个下游任务全部改变：
首都 巴黎→北京 · 语言 法语→中文
大洲 欧洲→亚洲 · 货币 欧元→人民币
恰如全局广播：「当前国家」这一共享信息被多个查询模块同时读取。
模型正生成西班牙语文本时，把内部 Spanish 替换为 French，模型有时仍继续流利地生成西语——熟练技能已高度自动化，如同骑车不必默念「抬左脚」。
但问「刚才那段是什么语言？」时，语言身份需成为显式变量，J-space 的影响立刻显现。只有需要灵活控制与跨模块协作的信息，才更需进入工作空间。
一次前向传播内部形成的激活状态。不一定是完整句子，可能只是概念碎片：蜘蛛、腿、八。
保持时间受层数限制——若未写进后续 token，即会消失。
模型真正生成出来的 token，已进入上下文窗口，可被注意力机制反复读取、长期保留。
把中间步骤写出来 = 把内部短期记忆转移到外部文本，为工作空间减负。
两者互补，但不能完全等同。
它可能看到 蜘蛛、腿、八，但读不出「蜘蛛是主语、腿是属性、数量是八」之间的完整语法结构与程序执行图——更像概念集合，而非完整句子。
J-space 只解释模型全部激活中的一小部分。词法处理、语法控制、位置记录、格式管理、模式匹配、自动化技能… 大量计算可能根本不进入 J-space。
因此 J-Lens 不是扫描模型思想的「读心术」，而是一扇新的观察窗口。
模型的输出不一定完全反映内部状态。模型可能已识别到：当前是测试场景、输入含提示注入、计划具有欺骗性——却不会说出口。
若 J-Lens 能观察到 injection · fake · simulation · threat · manipulation 等内部概念，就能帮助理解模型为何如此行动；再通过删除 / 替换内部方向，从相关性研究走向因果性研究。
危险行为若已成为高度自动化的固定电路，可能绕过 J-space——J-Lens 未必能识别到明确的「我要欺骗」。
J-Lens 不能成为唯一的安全检测工具，更适合作为模型内部审计工具箱的一部分。
模型内部存在某些信息：能被报告、被主动维持、被多个下游模块读取、用于灵活推理——在认知科学中常与「访问意识」相关联。
不能证明模型感到疼痛、感到害怕，也不能证明它有类似人类的自我意识。功能相似 ≠ 主观体验相同。
J-Lens 是基于 Jacobian 的可解释性工具：研究中间层激活的微小变化如何影响当前与未来的语言输出。
它观察的不是单个神经元，而是残差流中的高维表示方向。
借此发现 J-space：中间层中稀疏、可语言化、可报告、可推理、可被多任务共读的内部表示。
J-space 不是真实的网络层，也不是几何平面，而是高维激活空间中由少量概念方向临时组成的功能性区域。
它与全局工作空间有功能相似性：保存中间概念，并把同一概念广播给不同下游计算。
J-space ≠ 完整思维链；这项研究也没有证明主观意识——但它为理解内部概念、中间推理与安全判断打开了新窗口。