ModelHub XC适配OpenAI最新开源模型Circuit Sparsity

互联网
2025
12/31
16:40
分享
评论

信创模盒ModelHub XC近日完成OpenAI最新开源模型Circuit Sparsity的适配与验证,并在昇腾910B4 NPU等国产算力平台上实现稳定、高效运行。

Circuit Sparsity模型

OpenAI的Circuit Sparsity稀疏模型架构(参数量0.4B、99.9% 权重为零)一经开源即引来巨大关注,其以原生稀疏架构构建可读“电路”,破解了大模型“黑箱”难题,成为AI可解释性领域的颠覆性突破和未来大模型演进的重要技术方向。

该模型采用动态剪枝等技术,电路规模较密集模型缩减16倍,颠覆传统参数竞赛,引领行业向“透明化 + 高效化”转型。OpenAI通过 “桥梁网络” 连接稀疏与密集模型,实现了对现有大模型的可解释性行为编辑。

Circuit Sparsity不仅是现有模型的优化,更提供了全新架构方法论,验证了结构性稀疏兼具高性能与高可解释性的可行性,预示下一代模型将走向“电路化”“稀疏化”设计。

ModelHub XC完成Circuit Sparsity 开源模型的适配

架构适配:

该新型极度稀疏架构算法底层基于 Transformers 架构——以Transformers为蓝本,通过引入动态稀疏约束和组件微调,从根本上重构出一个天生具有结构化稀疏性的新模型架构。同时,这一新架构的编译、计算和数据流模式,又经过优化,以充分释放如昇腾910B这类专用NPU的极致算力。

适配结果:

测试数据显示,ModelHub XC平台在昇腾910B4 NPU上对OpenAI开源Circuit Sparsity模型完成了适配与性能验证。

1. 性能提升倍数(关键指标)

请求延迟:NPU 处理单条请求平均延迟仅需 2.00 秒,CPU 则高达 56.21 秒。NPU 的单条处理速度提升了 28.11 倍。

吞吐量 (QPS):NPU 的吞吐量为 0.50 条/秒,是 CPU(0.02 条/秒)的 25 倍。

2. 结果分析

巨大性能鸿沟:从“分钟级”响应(CPU)到“秒级”响应(NPU)的跨越,证明了 Circuit Sparsity 这类稀疏模型极度依赖专用AI计算硬件(如NPU)的并行计算与高效内存访问能力,在通用CPU上运行效率极低。

关于信创模盒ModelHub XC

信创模盒ModelHub XC是面向信创算力生态的AI模型与工具平台,兼具社区和服务的功能,致力于推动国产硬件平台上的人工智能创新与落地,提供涵盖模型训练、推理到部署的全流程解决方案。

THE END
广告、内容合作请点击这里 寻求合作
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表 的观点和立场。

相关热点

相关推荐

1
3
Baidu
map