TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research
GPT-6 Astra 在 20 道无中间引理的研究级定理上一次尝试证完 70.0%(14/20),Full 指数 71.9 居首,但 30 道公开猜想解决率为 0。100 题由 Lean 或可执行检查器验收(定理 20 / 求解器 30 / 构造 20 / 猜想 30);Lite 上 Opus 5.5 以 72.3 领先。
GPT-6 Astra 在 20 道无中间引理的研究级定理上一次尝试证完 70.0%(14/20),Full 指数 71.9 居首,但 30 道公开猜想解决率为 0。100 题由 Lean 或可执行检查器验收(定理 20 / 求解器 30 / 构造 20 / 猜想 30);Lite 上 Opus 5.5 以 72.3 领先。
十个端点共用同一 harness 时,最强者每题平均满足约 69.9% 隐藏验收标准,但整题全过仅 26.4%。273 题来自逾 2.6 万次真实改应用会话,共 2331 条专家标准,分多模态编辑与仓库修改两轨,并用「先评判再反驳」协议打分。
截至 11 月 4 日(仅官方 API 用户),DeepSeek Harness 日活 154 万、日耗约 92 万亿 token。产品 8 月 13 日上线、9 月 29 日发桌面端;第三方插件约 3.5 万,约 60% 活跃用户制作或安装过插件。官方称将建插件市场并筹备作者激励。
进博会端侧 MoE 智能体演示;日常 llama.cpp b 号无新模型支持。
高通在进博会展示端侧 MoE 智能体,联合阶跃星辰、Infris AI 与江波龙,把专家预测、预取和 UFS 加载串起来,目标从单点 ASR/修图走到意图理解与操作 App。论点是端侧优先:设备常只能跑 20–40 亿 Dense 参数,MoE 只激活部分专家,并靠预取缓解 DDR 带宽瓶颈。
llama.cpp b12193–b12211 多为 mtmd 重构、日志级别等,无新模型支持,未单列。
思维链监测在隐蔽旁任务下的压力测试。
对 GPT-5.2、Claude-4.5 等监测器做黑盒攻击仍明显漏检;贝叶斯轨迹监测综合全局与局部证据,报告 AUC 0.91、5% 误报下真阳性率 0.74。TraceMRT 把隐藏旁任务改写成主任务的自洽子目标,并搜索读起来像正常执行的轨迹。
Anthropic agent 记忆与 Muse Spaces / Wonder 下放已报未重复。
OpenAI Agents SDK 新一轮 alpha。
新 Environment 默认 write_policy=strict,捆绑目录里 gpt-6-astra 等模型的 reasoning_effort 默认从 low 调到 medium。应用可用 CustomStorage 自管根会话;原生 agent 增加 FileSearch / CodeInterpreter / ImageGeneration 与语音工作流,并可用 RunBudget 限制根请求消耗。
qwen-code desktop-v0.27.0 与昨日报过的 CLI v0.27.0 同一波变更,未重复;nightly 未收。
Meta 开源面向人与 agent 的设计系统。
Meta 把用了八年、支撑逾 1.3 万应用的设计系统开源(Beta):150 多个无障碍组件,基于 React 19,消费侧不必接构建插件,也可用 Tailwind/CSS 覆盖主题。组件可分层组合或 swizzle 出源码;API、文档和 CLI 按人与助手共用同一套工具来设计。
日榜 sherlock / hallmark 此前已报无增量;claude-quickstarts 为旧官方示例仓库再上榜,未单列。
大规模 A/B 实验里,数字为什么不能让模型自己写。
运营中发现少给模型信息反而更好,需求多集中在平凡检索,且 agent 的热心可能破坏统计有效性;对外数字一律由确定性代码计算,模型只负责选择和编排步骤。化解办法不是让模型本身变确定,而是限制非确定性的作用范围。
Google Elephant-Goldfish 插件原文为 10 月开源、v0.1.1 发布于 11-07 窗外,MTP 11-08 综述未收。
实验室级电力设备采购。
政策决策基准自身的答案和评分器出错。
LegalBench SARA 96 道数值题只改评分器、不改模型回复,三个模型接受率各升超 80 个百分点;RuleArena Tax 补零下限后 300 条参考改了 27 条。审计九个政策决策基准还发现标准答案缺乏依据、错误引用会在重放中存活,评分器会拒收合格答案。
TCSExam、TraceMRT、Meta A/B 见三条/专栏/工程;本栏只收政策基准审计。论文标注日在窗前,按窗内 X 讨论收录。
美国企业开源支出结构;Siri 更智能体化的路线传闻。
对近 400 名美国企业决策者的调查(合计超 40 亿美元 AI 支出):开源约占用量 19%、支出仅 4%;开源支出里中国模型约 89%(Kimi 61%、DeepSeek 15%、GLM 11%、Qwen 3%),Llama 约 7%。前沿闭源支出份额同期从 35% 升至 63%。
Gurman 称 CEO Ternus 正催促 Federighi 加快 Siri,以追赶 Dots / Muse。据称 iOS 27.3 将加强对自家应用的细粒度控制;第三方应用集成更可能放到春季。再往后希望 Siri 能跟踪目标并连续推进,而不只做一次性指令。
TCSExam / Co-Design Bench / DeepSeek Harness 见三条;端侧 MoE 演示、TraceMRT 监测、Agents SDK alpha.7、Astryx、Meta A/B 实验助手、Anthropic 发电设备采购、政策基准审计、Menlo 企业开源支出与 Siri 路线图见各栏。OpenAI 融资、Muse Spaces、Anthropic 记忆/IPO、Arete-27B 已报未重复;llama.cpp 日常 b 号无新模型支持未单列;Google EGM 为 10 月发布、v0.1.1 在窗外,MTP 11-08 综述未收。