CryptICE™ AI 权重压缩与加密 IP

在既定 DDR 带宽下供给更多模型权重

在 DDR 控制器与片上 GPU 或 NPU 之间,CryptICE™ 协同完成权重压缩、解压、加密和解密。通过压缩减少权重搬移的数据量,并降低模型权重在片外存储与传输中的明文暴露风险,已具备量产交付能力。

在线加载经 CryptICE 压缩、加密,离线预处理后的权重直接进入写入路径;两种方式均经片上 DDR 控制器写入片外 DDR,再经 CryptICE 解密、解压,供给 GPU 或 NPU 推理。

灵活权重加载

在线加载

装载原始模型权重时,在运行时完成压缩与加密,再写入 DDR,适配需要在系统运行阶段处理权重的加载流程。

离线预处理

由工具链预先压缩并加密模型权重,系统直接加载处理后的权重,减少运行阶段的预处理工作。

两种方式均沿 DDR 读取、解密、解压的共同路径,将权重供给 GPU 或 NPU 执行推理。

有效权重带宽

在特定条件下,有效权重带宽可提升约 30%。该指标在同等工艺与物理带宽下,相对未采用权重压缩的方案,以单位时间向计算端供给的等效未压缩权重数据量衡量。

实际收益与模型、权重精度、访问模式及配置有关。对于受带宽限制的任务,更快的权重供给有助于减少计算等待。

集成与适配

适配不同模型、权重加载流程及芯片平台,提供数据通路集成、性能评估与技术支持,协助模型权重压缩与加密能力落地。

评估模型权重通路

欢迎提供模型与权重精度、访问模式、DDR 带宽及加载方式等需求,我们将安排相应的技术沟通。

联系我们

返回密码算法 IP 总览