本智激活：源自上海交大顶尖研究所，深耕端侧原生AI全栈技术
来源： BV百度风投
作者：
本智激活
2025-07-24
本智激活孵化自上海交大顶尖研究所，专注端侧原生AI技术，推出多项全球领先成果，推动端侧智能发展。
「本智激活」孵化自上海交通大学并行与分布式系统研究所（IPADS），该研究所在操作系统、分布式系统等底层技术领域享誉国际，近10年在计算机领域国际著名排行榜CSRankings 中名列操作系统领域全球第一。「本智激活」团队核心成员为来自IPADS研究所的教师及博士生，由上海交通大学副教授、博导糜泽羽担任创始人及CEO，在端侧大模型、端侧Infra底层系统等领域拥有世界一流的技术实力。团队曾主导PowerInfer、SmallThinker等在全球范围内产生显著影响的开源项目与大模型，展现了其在前沿技术探索和工程化落地上的卓越能力。
#01 以“端侧原生”全栈设计破局，重塑个人AI范式新一代AI技术突破正深刻变革产业，尤其将彻底重塑PC、手机、智能终端等承载用户“数字人生”的端侧设备。当前，全球数十亿端侧设备存储着海量高价值、极私密的个人数据资产。然而，在云端AI模式下，将这些数据资产转化为真正的个人AI助理却面临着“三座大山”——隐私焦虑方面，个人全部数据上传云端不仅存在泄露风险，用户心理上也难以接受将“数字灵魂”托管第三方；高昂成本与延迟问题，每次与云端大模型的文字和多模态交互都是昂贵的跨网算力调用，高延迟与高成本阻碍高频、深度的AI应用；而缺乏深度个性化则表现为，云端通用大模型无法安全、持续地学习个人全部数据，服务停留在“千人一面”的浅层交互，无法成为真正懂用户、具备长期记忆的私有化大脑。
面对这些挑战，「本智激活」提出颠覆性的“端侧原生”全栈设计破局——不依赖模型压缩，而是从底层重构软硬件技术体系，在不牺牲模型智力的前提下，实现真正的端侧智能。
团队率先实现了从端侧大模型、端侧Infra到硬件优化的协同设计与极致优化，致力于在保护用户100%隐私的前提下，将强大的AI能力无缝融入日常。这不仅定义了端侧AI新范式，更构建了“技术研发-硬件赋能-生态构建”的价值闭环。当传统AI仍在与云端延迟和隐私问题博弈时，「本智激活」已经通过解码端侧设备的极限潜能，将AI的未来交还用户手中。
#02 世界级技术成果：从端侧大模型到端侧Infra的全栈创新
目前，「本智激活」在端侧大模型算法和Infra领域已积累了一系列世界级领先成果，并在全球开源社区产生了巨大影响。
PC端性能突破： 团队于2023年12月发布的PowerInfer端侧大模型Infra系统，突破性地实现了在消费级NVIDIA RTX 4090 GPU上高效运行千亿参数大模型的能力，其性能达到数据中心级A100 GPU的90%，推理速度较前代技术提升最高11.69倍。该项目开源后，连续两天蝉联开源平台GitHub国际开源项目趋势榜第一。
手机端“从零到一”： 2024年6月，团队推出PowerInfer-2，基于自研的TurboSparse大模型稀疏化方法，进一步将技术边界扩展至移动端，首次在智能手机上流畅运行470亿参数模型，推理速度超越国际标杆系统llama.cpp达29倍，推动终端硬件智能水平到达新高度，实现了手机侧百亿级大模型部署“从零到一”的跨越式发展。
端侧原生大模型算法创新：2025年7月26日，「本智激活」将联合上海交通大学发布并开源全球首批端侧原生大模型。该系列模型采用原创算法架构，从零开始预训练构建。这一架构专门针对端侧设备的算力、内存和存储限制进行设计，通过与原生端侧Infra深度协同，实现了百亿参数大模型在百元级硬件上的流畅运行。这标志着研发团队已贯通从模型算法创新、大规模预训练到端侧Infra部署的全栈核心能力。值得一提的是，「本智激活」团队在2024年12月30日曾开源全球首个30亿参数长链推理大模型SmallThinker。凭借出色的推理性能，该模型在发布仅7天内，就在HuggingFace等平台累计下载量突破10万次，并一度在HuggingFace模型全球趋势榜总榜位列第二（仅次于DeepSeek-V3模型），文本生成类大模型榜排名第一。
BV百度风投董事总经理刘水表示：“本智团队通过‘模型-系统-硬件’的协同优化，为智能终端市场提供强大的推理能力，降低AGI使用成本。AI 模型落地到端侧是技术发展的必然趋势，端侧智能为用户带来即时响应的交互能力，数据隐私保护以及云端算力的成本节省，未来将出现 AI PC、AI 手机等其他形态的AI终端。公司依托上交科研团队的技术积累，在端侧模型推理性能提升、模型Infra加速等技术上具有明显优势，将推动 AI 与硬件的深度融合。” 责任编辑： 沐锦
