大模型推理的账，很多人习惯看成模型厂与芯片厂之间的事。但2026年10月21日，蚂蚁集团联合vLLM社区（全球主流的开源大模型推理框架社区）开源Humming的消息，把账本直接翻到了GPU（图形处理器，也用于AI加速计算）底层算子这一页。一个长期做支付、风控与信贷的金融科技公司，忽然在量化推理算子层面，同vLLM Marlin（vLLM社区原有的量化推理算子）、FlashInfer（开源推理算子库）和DeepGEMM（一款面向大模型的矩阵乘法算子库）这几套现有实现摆在一起比性能。据每日经济新闻转述蚂蚁开源官微的消息，Humming覆盖多种GPU以及兼容CUDA（英伟达的并行计算开发平台）编程的设备，官方称其在多种典型负载中显著优于前述几套现有算子实现。
这次开源背后的行业周期，已经明显处在推理降本与异构算力并行的阶段。上一轮钱主要烧在模型参数和GPU整机采购上，现在大家开始抠每一层算子的效率。这个情形让人想起1990年代Sun公司把Java（一种跨平台编程语言）虚拟机开放出去的那段商业史。当时服务器厂商还在拼整机性能，Sun却用一套跨...