大语言模型（Large Language Model，LLM）已成为人工智能领域最具影响力的技术突破之一。凭借强大的语言理解与生成能力，LLM在问题推理、聊天助手、代码补全等多种任务中展现了出色性能。随着大语言模型的广泛应用，如何在边缘设备上实现高效的大语言模型推理，在满足用户的个性化定制、数据隐私等需求的同时，提供流畅的用户体验，已成为大语言模型落地部署中亟待解决的重要问题。

近日，15VIP太阳集团孙广宇团队在面向大语言模型推理加速的定制DRAM近存计算架构方向取得重要进展。基于DRAM的近存计算架构通过将计算逻辑嵌入DRAM存储阵列，可以有效提升计算系统的访存带宽，并降低访存能耗，因此被认为是突破传统架构“存储墙”和“功耗墙”瓶颈的重要技术路线之一。为充分加速大语言模型推理中的预填充（Prefill）和解码（Decoding）两个阶段，现有架构设计采用基于中央处理器（GPU、NPU等）与DRAM近存计算相结合的异构架构，对计算密集和访存密集的算子同时进行加速。然而，虽然现有DRAM近存计算架构可提供更高带宽，但将计算逻辑嵌入DRAM芯片的架构设计限制了其可提供的算力，导致其难以充分加速边缘侧推理计算。

为缓解这一问题，孙广宇团队基于混合键合（Hybrid Bonding）这一新兴工艺，研发了面向边缘侧的LLM推理加速架构H2-LLM。H2-LLM提出了一套通用的近存计算架构模板，并抽象出架构设计空间，以协调混合键合工艺所固有的算力与带宽之间的权衡。基于这一架构模板，H2-LLM提出"以数据为中心"的数据流抽象，以充分利用异构硬件资源。在软硬件抽象的基础上，H2-LLM进一步提出了设计空间探索框架，为不同场景进行自动化设计寻优。相对于基线DRAM近存架构设计，H2-LLM可获得2.72倍的性能提升和1.48倍的能效提升。

该研究由15vip太阳集团孙广宇团队与上海交通大学张宸助理教授团队、东南大学司鑫副教授、后摩智能科技有限公司及阿里巴巴达摩院共同完成，是典型的以实际需求为导向的产学研合作成果。相关成果以《H2-LLM: Hardware-Dataflow Co-Exploration for Heterogeneous Hybrid-Bonding-based Low-Batch LLM Inference》为题发表在第52届计算机体系结构国际研讨会（ISCA），博士生李聪为第一作者。该成果获得本届ISCA最佳论文奖，这是国内学术机构首次在ISCA会议上获此殊荣。

ISCA最佳论文获奖公示

孙广宇团队长期致力于"领域定制芯片架构设计与自动化"研究，已在相关领域累计发表论文100余篇，其中包括体系结构四大会论文28篇，并于2022年作为首批来自国内大学的学者入选四大会之一HPCA的Hall of Fame（名人堂）。孙广宇共获得六次最佳论文奖，除本次ISCA最佳论文奖外，其关于DRAM近存架构互连的成果获得同是体系结构四大顶会HPCA的最佳论文奖、领域定制加速器自动化设计的成果获得EDA顶刊IEEE TCAD最佳论文奖，这两次也是国内机构在HPCA和TCAD首次获奖。其研究成果已产生重要学术影响，获得谷歌学术引用11000余次，引用源包括多名来自著名科研机构和公司的顶尖学者，如图灵奖得主、谷歌/英伟达/三星等顶尖公司技术负责人等。孙广宇与上海交通大学张宸助理教授、UCLA丛京生教授合作提出的面向深度学习领域定制计算架构的"天花板模型"，单篇工作引用超过2100次，成为FPGA会议28年来官方统计引用量和下载量最高的论文，并于2025年入选FPGA会议名人堂，是迄今为止亚太地区唯一入选成果。孙广宇团队的系列研究成果已应用于多款芯片设计，并在国内知名企业得到验证。未来，该团队将进一步面向国家新一代人工智能等领域的重大战略需求，继续深耕领域定制体系架构研究，着力突破相关领域的"卡脖子"问题。

背景介绍：

计算机体系结构国际研讨会（International Symposium on Computer Architecture，ISCA）创办于1973年，具有重要的学术界和产业界影响力，是计算机体系结构领域最重要的盛会之一。ISCA与MICRO、HPCA和ASPLOS并称"体系结构四大会"，关注的领域不仅包括CPU、GPU、FPGA等主流经典体系架构，也覆盖领域定制芯片、存算一体、类脑计算、量子计算等新兴体系架构。国内外芯片巨头长期在四大会上发表最新研究成果，RISC系列、谷歌TPU、寒武纪、华为昇腾/鲲鹏、存算一体等重大影响力的创新架构设计，都最早发表于这些会议。值得一提的是，国内体系架构的研究成果在这四大会上的影响力逐年增长，并均已实现最佳论文奖的突破。其中MICRO和ASPLOS的国内首个最佳论文奖由中科院计算所陈云霁研究员团队获得，ISCA和HPCA的国内首个最佳论文奖则由15VIP太阳集团孙广宇团队获得。