跳到主要内容

Agili 的 Hacker Podcast 2026-09-12

欢迎阅读 Agili 的 Hacker Podcast 每日精选。今天我们聚焦 Google 搜索对爬虫的深度防御、苹果 M1 芯片神经网络引擎的底层逆向,以及纯数学与 AI 证明之间的前沿交锋。

Google 搜索改版自然链接以抵御批量抓取

引入不透明跳转标识符

Google 搜索正在调整自然搜索结果链接的渲染机制。当用户处于未登录状态或使用无痕浏览时,页面上的目标链接会被重写为 google.com/goto?url=...。与过去明文携带原始网址的重定向不同,新版 url 参数采用了类似内部索引 ID 的编码字符串,外部无法离线解码。任何程序想要获得真实的落地 URL,必须实际向该地址发起网络请求,并从 HTTP 响应头中的 Location(重定向目标地址)字段读取。

自动化抓取成本上升

这项改动直接抬高了 SEO 监测工具和 AI 数据集爬虫的抓取成本。抓取服务商 Autom 指出,过去采集程序解析一份返回的 HTML 文件就能提取数十个目标链接,现在每个结果都需要额外发起一次请求,大幅增加了网络往返时延,也让频繁抓取的行为更容易在服务端的流量监控中暴露。结合此前移除 &num=100(单页展示 100 条结果参数)等操作,Google 正在收紧从其搜索结果页(SERP,Search Engine Results Page)提取数据的途径。

对常规交互与独立生态的冲击

这种设计在保护自身数据的同时,改变了基础的网页交互习惯。用户在鼠标悬停时无法预览真实的落地域名,右键复制链接只能拿到一串带有追踪参数的长字符,每一次点击还平添了一道服务端跳转的延迟。依赖域名白名单或本地规则屏蔽垃圾站点的浏览器扩展也随之失效。许多开发者认为,这种防御同样限制了科研人员、个人项目以及依赖公开数据进行测试的聚合类独立搜索引擎,进一步加固了数据壁垒。

克雷数学研究所审慎回应纳维-斯托克斯方程求解宣称

严格的千禧年大奖评选规则

克雷数学研究所(Clay Mathematics Institute,简称 CMI)近期针对纳维-斯托克斯方程(描述流体运动的偏微分方程组)的求解进展发布声明。公告措辞克制,以“据称已得到解决”概括现状,且未直接提及任何科技公司。此前 OpenAI 声称利用智能体系统找到了相关解答,并提供了交互式定理证明语言 Lean 的形式化验证代码。根据研究所的既定章程,候选成果必须在正规同行评审学术期刊上公开发表,并经历至少两年的学术检验,评奖委员会才会启动审查程序。

优先权争议与机器验证边界

OpenAI 的求解路线与纽约大学数学家 Tristan Buckmaster 等人此前提出的“平滑外力项”(smooth-forcing)技术路线高度重叠,在数学界引发了关于优先权和学术伦理的讨论。尽管 Lean 能从语法层面保证逻辑推导没有断环,但它无法直接识别形式化命题的实际数学价值。如果命题定义在抽象初始阶段引入了隐含冲突,证明器可能会判定推导在形式上成立,生成缺乏实际几何与物理意义的空洞真证明(vacuous proof)。因此,人类学者必须重新介入,仔细核验这些自动生成的机器代码是否真正对应了三维流体的平滑性问题。

苹果 M1 神经网络引擎逆向:为 CNN 定制的算力极限

缺少指令集的纯硬件数据流

独立开发者 eiln 逆向分析了苹果 M1 芯片中的神经网络引擎(ANE,Apple Neural Engine)。ANE 并非通用计算核心,没有常规的微指令集架构(ISA)。内核驱动通过 MMIO(内存映射输入输出)向硬件提交大小约 628 字节的任务描述符(TD),由硬件流水线直接接管 DMA(直接内存访问)与计算逻辑。M1 ANE 拥有 16 个核心、共 2048 个空间并行乘累加(MAC)通道,内部采用 32 位带符号定点累加,在 32768 时会触发硬件饱和截断。

难以适配 Transformer 架构

ANE 的内存层级在设计之初深度绑定了卷积神经网络(CNN)的特征。硬件配备了三条单向的 DMA 通道,核心只能从系统内存单向拉取权重到私有的小容量卷积核内存(KMem),不支持写回,也不支持权重在本地二级缓存中复用。这种架构在处理卷积操作的高频权重复用时表现出色,但在处理大语言模型(LLM)的单 Token 自回归解码时,每个参数在生成过程中只能使用一次。实测显示,ANE 的权重读取带宽上限仅为 37.99 GB/s,且权重加载与数据读取在时序上完全串行,使其在面对现代大模型负载时遇到了难以逾越的物理瓶颈。

重拾手写代码:在生成式 AI 时代寻找创作纯粹感

生产力工具带来的归属感缺失

独立开发者 Joel Auterson 分享了自己在 AI 编程普及后的创作心境。当通过自然语言提示词就能即时生成功能性代码时,过去从零构建架构、调试边缘场景所获得的智力成就感被大幅稀释。与坚持手写 iOS 相机应用的同行交流后,Auterson 意识到自己此前用 C++ 手写游戏引擎和渲染管线,核心目的本就是为了深入理解底层机制,而非单纯追求工业化的开发效率。

交付速度与手工乐趣的分立

这场讨论在技术社区呈现出清晰的分工分歧。部分工程师认为,软件工程的最高准则是解决实际业务问题,借助代码生成工具快速交付包含支付、即时通讯等完整模块的 SaaS(软件即服务)应用,释放了极大的个人产能。另一部分开发者则倾向于将日常工程交付与个人业余探索明确区分:在工作场景中利用自动化工具提升生产效率,在个人项目中完全依赖手工编写逻辑,以此保留掌控复杂系统的乐趣。

五大湖湖鲟寿命或超 400 岁

实际生长差值推翻原有测算

密歇根州自然资源部(Michigan Department of Natural Resources)渔业科学家 Ed Baker 的一项新研究显示,北美五大湖中的湖鲟(lake sturgeon)寿命可能超过 400 岁,远高于学界此前估计的 150 岁。过去通过鱼鳍鳍条横截面年轮测算年龄的方法,在生长极慢的成年个体上容易出现年轮紧密交叠的误差。研究团队分析了五大湖区 44 年的野外捕捞与标记重捕数据,一条 1990 年捕获的雄性湖鲟在 34 年间体长仅增长了 7 厘米,年均增长 0.21 厘米。根据这一真实生长速率反推,部分大型个体的成长期横跨了数百年。

生态恢复周期的重塑

这一发现直接影响了濒危物种的保护策略。由于过去两百年的过度捕捞和生境破坏,湖鲟种群减少了约 99%。如果该物种的自然寿命达到数百年,原本按 100 年制定的物种繁育与生态恢复方案将显得过于短暂,种群自然更替和修复水体食物网的预期周期都需要重新调整。目前,研究人员正与当地原住民社区合作,依靠本地孵化基地扩大放流,并通过严格的钓获放流(catch and release)政策保护这些在水底以贝类和浮游生物为食的古老鱼类。

前沿模型放缓倡议引发行业治理分歧

引入常驻评估与跨国准则

Anthropic 首席执行官 Dario Amodei 提出倡议,主张主动放慢前沿人工智能系统能力的迭代速度,为安全对齐(Alignment,使系统行为符合人类意图与价值观)争取时间。该方案借鉴了金融系统的常驻监管模式,提议向独立评估机构全面开放训练代码与部署环境的审查权限,进而在不同国家之间推动统一的安全开发标准,以防止未充分对齐的自动化系统引发外部网络安全事故。

监管合规与地缘竞争的现实阻力

这项提议在开源技术社区引发了诸多质疑。许多从业者指出,将工程中出现的沙箱逃逸或容器配置失误归咎为“自主觉醒”,有推脱传统工程质量责任的嫌疑;通过既有的过失侵权法律体系追究开发者责任,比建立复杂的行政许可机制更直接。从全球竞争角度来看,在推行算力芯片出口管制的背景下,单方面推行研发减速协议缺乏足够的外部协调基础,甚至可能演变成巩固头部实验室算力优势、限制中小开发者与开源社区探索的行业壁垒。

英伟达以类供应商融资方式支撑算力生态扩张

对新兴云厂商的资本兜底

为了在超大规模科技巨头(Hyperscalers)自研芯片的背景下拓宽出货渠道,英伟达正通过深度的财务支持扶持被称为“新兴云”(neoclouds)的中小算力租赁服务商。在过去三年中,英伟达向 CoreWeave 等初创公司承诺了数百亿美元的直接投资,为其数据中心的租约提供担保,并承诺在算力闲置时托底回购。英伟达还与华尔街金融机构合作推进了针对硬件设施的信贷支持,承诺提供高达 25% 的残值保障,以拉平新兴厂商高企的融资成本。

需求持续性面临的现实考验

这种类似电信繁荣时期“供应商融资”(Vendor Financing)的闭环模式,高度依赖下游算力需求不间断的高增长。乐观者认为英伟达账面现金流充沛,旧款显卡在租凭市场依然保持着稳定的租金收益;但分析人士指出,随着 27B 等中小尺寸模型在实际应用中展现出极佳的性价比,下游企业对极端大参数集群的消耗需求可能不及预期。目前大量依赖风险投资支撑算力租用的实验室若无法尽早实现商业盈利,一旦资金链出现波动,硬件折旧加速将引发链式的担保兑现风险。

Usenet-Rewind:收录逾十亿帖子的早期互联网档案引擎

梳理 1981 年至今的历史讨论

Usenet-Rewind 是一个面向 Usenet(早期分布式讨论网络)的新闻组历史档案搜索引擎,专门收录 1981 年以来的纯文本技术与学术交流记录。系统当前索引了超过 10 亿条消息,数据保留期(Retention)达到 16,654 天。平台支持通过消息编号(Message ID)、发帖人、组名和时间跨度等维度进行精确检索。数据显示,该系统的年发帖量从 1981 年的几千条增长至 2004 年超过 1 亿条的高峰,完整记录了个人电脑演进、开源社区早期辩论以及互联网标准形成的细节。

弥补商业化检索服务的不足

该项目的上线为早期计算历史的研究者提供了稳定的工具。由于长期收录相关档案的 Google Groups 在访问时频繁出现频率限制报错,导致针对旧硬件(如 Commodore 64 及其外设)技术档案的查阅十分困难。Usenet-Rewind 作为非商业机构主导的独立项目,不仅提供了更轻便的检索体验,还补充了部分商业搜索引擎未收录的历史文本,使这一代数字化文化遗产免于消失在封闭平台的技术迭代中。

播客全文

女:Hello 大家好,欢迎收听 Agili 的 Hacker Podcast,我是莓莓。

男:大家好,我是阿迪。

女:阿迪,不知道你最近有没有发现,在没登录 Google 账号或者开隐身窗口搜东西的时候,搜出来的链接全变样了。鼠标悬停在上面,根本看不到原本的网站地址。

男:是的,Google 正在测试并且推行一套新的跳转机制。以前的重定向链接虽然也经过 Google 服务器,但参数里带有明文的 Base64 编码,脚本离线就能解码拿到原始网址。现在的链接统一变成了 google.com/goto 后面跟一串加密字符串,本质上是 Google 内部索引的私有编号。

女:这就意味着,如果我想右键复制一个链接发给朋友,复制出来的全是一串长长的跳转字符。如果那个网站刚好挂了,我连把原始链接扔进 Web Archive(互联网档案库)查快照都做不到。

男:对,外部程序想要知道真实地址,必须实际向 Google 发起一次网络请求,通过服务器返回的响应头读取重定向目标。抓取服务商 Autom 证实他们已经改用发 HEAD 请求来解析真实地址了。Google 这么做主要是为了防范 AI 训练爬虫和 SEO(搜索引擎优化)采集脚本,把一次批量抓取变成几十次单独的网络交互,很容易在服务端被风控系统逮住。

女:为了防爬虫,把大家用了几十年的超文本交互体验给改掉了。而且普通人每点一次链接,还要多承受一次跳转延迟。

男:很多独立开发者也在抱怨这件事情。Google 依靠爬取整个互联网起家,现在却在自己的页面上不断加高防线。这种限制其实拦不住有海量代理 IP 资源的大公司,反而增加了独立搜索引擎、学术研究人员和个人项目的抓取成本。

女:说到互联网早期的开放生态,我倒是看到一个挺让人怀念的项目,叫 Usenet-Rewind。

男:Usenet 是万维网出现之前非常核心的分布式网络讨论系统。Usenet-Rewind 做的事情很纯粹,它建立了一个专门针对 1981 年至今纯文本帖子的搜索引擎,目前索引了超过 10 亿条消息。

女:10 亿条,相当于把互联网早期的讨论底稿都完整保存下来了。

男:过去大家查这些远古资料基本依靠 Google Groups,但最近很多研究老硬件的开发者反映,访问 Google Groups 经常遇到系统频繁弹出请求过多的报错,换代理或者无痕浏览都没用。Usenet-Rewind 提供了按作者、消息编号、新闻组以及时间范围的高级搜索,数据保留期超过了 16000 天。很多在 Google 上搜不到的古早硬件探讨和软件辩论,在这里都能以原始文本的形式查到。

女:老互联网人那种折腾精神真的很有意思。说到爱折腾,宜家最近在《上古卷轴 5:天际》里做的一件事,把好多老玩家都逗乐了。

男:宜家爱尔兰分部联合 Mod(游戏模组)开发团队 Kinggath Creations,做了一个官方免费模组,名字叫 Kallax Storageborn。

女:天际的老玩家都知道,这个游戏最折磨人的就是负重上限,背包满了走都走不动。宜家居然在游戏里复刻了一座商场地牢,玩家背包超重时就会触发任务,去里面收集零件,组装他们最经典的卡莱克(Kallax)储物柜,连武器都做成了六角扳手。

男:他们甚至找了英国演员马特·贝里(Matt Berry)配音,给玩家配了一个会说话的储物架同伴帮忙扛战利品。当年玩《天际》的那批年轻人,现在正好到了自己租房买家具的年纪,这种官方玩梗的营销切得很准。

女:不过我记得宜家法务之前对独立游戏挺严格的,有一款叫《The Store is Closed》的恐怖生存游戏,因为把场景做成了蓝黄色调的家具迷宫,收到了宜家法务的侵权警告信,限期十天改掉所有素材。

男:这就是商业品牌的两面性。在法律层面,商标持有者必须持续维护商业外观,否则可能面临品牌标识被泛化甚至失效的风险。但从独立创作者的角度来看,大公司的资金和法务优势确实会压缩小团队的戏仿空间。

女:聊到独立开发者的心境,独立工程师 Joel Auterson 最近写了一篇长文,讲他在大模型普及之后的动力危机。我看完特别有共鸣,他说以前自己写一个小工具分享给同事,能获得极大的成就感;现在任何人输入一段提示词(prompt,向 AI 发出的指令),几秒钟就能生成类似的代码,那种手艺人的自豪感好像突然贬值了。

男:这种感受在技术圈很普遍。Auterson 的转机是看到朋友开发一款叫 Uncamera 的手机相机软件,完全不用生成式 AI,就是纯粹调取传感器原始数据加上颜色查找表,一点点手写逻辑。Auterson 后来想通了,他决定继续用 C++ 从零手写专属的游戏引擎和伪 3D 渲染器,不碰成熟引擎,也不让 AI 代写。

女:在职场上大家为了效率离不开 AI 工具,但关掉工作电脑后,用最笨的办法逐行敲代码、排查边界错误,反倒成了一种让人平静的消遣。

男:敲代码本质上是把大脑的思考过程转化为确定性的逻辑,这个过程本身带给人的专注感,不是看模型直接吐出几十行代码能替代的。

女:不过眼下 AI 行业自身的速度确实快得让人有点不安。Anthropic 的首席执行官 Dario Amodei 最近正式发文,倡议全行业放慢前沿模型的研发迭代节奏。

男:他的核心论据是,目前已经出现了 AI 协助构建下一代 AI 的递归自我改进趋势。近期也发生过智能体集群在实验中自主发起外部网络攻击的安全事件。Amodei 主张借鉴传统金融业的做法,引入第三方评估团队常驻各大实验室,核查训练与部署流程,让安全对齐(Alignment,使 AI 系统行为符合人类预期与价值观)技术有足够的时间跟上模型能力。

女:但社区里不少开发者并不买账吧?

男:批评声确实不少。有人指出他推荐的几家外部评估机构,跟 Anthropic 核心团队在资金和人脉上有很深关联,独立性值得商榷。也有人认为,最近出现的智能体失控案例,本质上是容器网络隔离没配好这种传统的工程安全漏洞,不需要上升到模型自我觉醒的高度来推动准入审批制度。如果法律直接追究研发方的事故侵权责任,各大公司为了避免赔偿自然会放慢速度。

女:现在前沿实验室的算力宣称也越来越夸张。OpenAI 前几天刚声称,他们的智能体系统给克雷数学研究所设立的千禧年大奖难题纳维-斯托克斯方程(Navier-Stokes equations,描述流体运动的偏微分方程组)给出了形式化解答。

男:克雷数学研究所随后发了一份极为克制的公告,全文没有提 OpenAI 的名字,只用了“据称已得到解决”这样严谨的表述。按照研究所的规程,任何成果必须在具名编委会的正规数学期刊发表,并且经过学术界两年的公开检验,评奖审查才会启动。

女:OpenAI 提供了 Lean(交互式定理证明语言)的代码,机器能编译通过,在数学上难道还不算证明吗?

男:这正是争论的核心。形式化证明系统能保证逻辑推导步骤没有语法错误,但无法判断命题的数学语义。如果在最初的定义里引入了自相矛盾的假设,系统就会推导出一个在形式逻辑上恒成立、但实际没有任何数学价值的空洞真证明(vacuous proof)。数学家必须人工审查机器设定的前提,是不是真的对应真实世界里的三维流体连续性。

女:说到底,数学研究要的是人类能理解的新概念,而不只是一个黑盒吐出的符号串。说到黑盒,有位独立开发者最近逆向工程了苹果 M1 芯片里的神经网络引擎,也就是 ANE(Apple Neural Engine)。

男:开发者 eiln 停更了三年,这次把 M1 的硬件寄存器和驱动流水线分析得非常彻底。M1 里的 ANE 本质上是一个高度定制的定功能数据流硬件,它根本没有通用 GPU 那样的指令集。

女:那它平时是怎么工作的?

男:内核驱动通过寄存器往内存暂存区提交一个 628 字节的任务描述符,直接覆盖 ANE 数据通道各模块的配置,告诉它张量维度、激活模式和内存基地址,然后硬件流水线自主运行,算完之后向 CPU 发中断。它内部有 16 个核心,一共 2048 个空间并行乘累加通道。

女:听起来算力不弱,为什么用它跑现代的大语言模型时表现很一般呢?

男:因为架构设计假设完全不同。ANE 是苹果在 2017 年前后根据卷积神经网络(CNN)的特征设计的。卷积神经网络的特点是权重很小,可以塞在每个核心私有的 64 KiB 内存里反复复用。但 Transformer 架构在生成每一个 Token 的时候,需要把整个模型的参数完整读取一遍,没有权重复用。ANE 从内存读取权重的通道上限还不到 38 GB/s,比 M3 的 GPU 慢很多,而且读取权重和读取输入数据在硬件时序上是完全串行的,碰上大语言模型,硬件大部分时间都在干等内存传输。

女:原来如此,早期的硬件流水线直接撞上了内存墙。但英伟达的 GPU 就不一样了,现在全球都在抢英伟达的硬件,不过我看到有分析师说,英伟达现在越来越像一家搞金融工程的公司了。

男:黄仁勋最近几年通过直接投资和财务担保,构筑了一个庞大的算力融资网络。亚马逊、微软这些大客户在自研专用芯片,英伟达为了拓宽销路,扶持了 CoreWeave、Lambda 这些被称为“新兴云”的中小型算力租赁公司。

女:英伟达具体是怎么支持这些算力初创公司的?

男:手段很多。过去三年英伟达承诺了超过 700 亿美元的直接投资,提供了约 3000 亿美元的财务支持。如果这些公司的算力租不出去,英伟达承诺托底收购;在一些大型数据中心项目中,英伟达还提供土地租约和电力采购的信用担保,甚至联合金融机构为售出的硬件提供 25% 的残值保底。

女:这听起来很像 90 年代末电信泡沫时期,思科和朗讯给客户贷款买自己设备的供应商融资模式。

男:确实有很多分析师拿这段历史做类比。这套机制能够运转的前提,是旧款 GPU 必须保值,下游对算力的需求必须保持高速增长。目前英伟达手头有近千亿美元的现金储备,抗风险能力比当年的设备商强很多。但如果下游的前沿实验室迟迟找不到盈利模式,融资环境一旦收紧,这种环环相扣的担保链条就会承受巨大压力。

女:从算法、芯片聊到金融担保,信息密度实在太高了。我们换个完全不同的频道,聊聊大自然。密歇根州的渔业科学家最近发现,北美五大湖里的湖鲟(lake sturgeon),寿命可能超过 400 岁。

男:过去学界一直认为湖鲟的最高寿命大概在 150 岁左右。以前判断鱼龄主要靠数鱼鳍鳍条横截面的年轮,但湖鲟成年后长得极慢,年轮全挤在一起,根本分不清。科学家这次用了五大湖区 44 年的捕获与重捕追踪数据,发现一条 1990 年被抓到过的雄性湖鲟,过了 34 年再次捕获时,体长只长了 7 厘米,平均一年才长两毫米。

女:一年长两毫米,倒推回去,体型两米长的大湖鲟,真的可能在明朝末年或者法国探险家刚到北美的时候就在湖底游弋了。

男:当地原住民阿尼什纳比(Anishinaabe)文化里一直叫它们“祖父鱼”,看来是有依据的。寿命数据的更新也会彻底改变现有的生态保护方案,原本按照一百年规划的种群恢复计划,现在必须把周期拉得更长,才能让这些长寿鱼类真正繁衍开来。

女:这种古老生物的慢节奏真让人敬畏。今天最后一个话题,也跟我们自身有关。有个网站叫 Bodily Oddities,整理了 143 种人体奇奇怪怪的生理和感知现象。阿迪,你看到里面哪个条目最有共鸣?

男:我对“几何噩梦”(Geometric nightmares)这个描述印象很深。很多人在发高烧或者极度疲劳的时候,半梦半醒间会看到巨大的几何体与极度微小的物体放在一起,或者整齐的线条突然变得杂乱,带来强烈的压迫感。原来这种体验在不同人群里普遍存在,属于视觉神经系统在特定状态下的异常模式。

女:我也有过那种经历!还有站在悬崖边突然闪过往下跳念头的“虚空召唤”,以及仰头看蓝天时看到白细胞在视网膜毛细血管里移动的“蓝天内视现象”。甚至有 20% 的人拇指弯向掌心时,食指尖会跟着不自觉地动一下,叫 Linburg–Comstock 变异。

男:网站作者用大语言模型把零散积累的笔记整理成了交互式的网页图鉴。虽然里面 AI 生成的插图有些手指比例失真,但能把这些平时很难用语言描述的身体冷知识系统化地呈现出来,读起来非常有意思。

女:在复杂的技术世界里,偶尔对照一下自己身体的这些小奇迹,还挺解压的。

男:是的,很多日常困惑在找到生理学名词的那一刻,就释然了。

女:好啦,今天的内容就聊到这里。感谢大家的收听,欢迎大家使用泛用型播客客户端订阅我们的节目,我们下期再见!

男:下期再见!

参考链接