advantage

Advantage

优势特点

全新编程模型，，，，开放编程接口

通用编程接口库

执行和存储模型简化数据切分和数据流操作

自适应图优化策略及算子泛化

进行算子融合等高层图优化，，并提供动态性支持

全新profiling工具

准确定位系统的软、、硬件性能瓶颈，，，，提高性能分析的效率

系统级设备虚拟化

虚拟化实现计算、、、、存储、、、、网络的解耦

资源可灵活切分，，实现最大化利用率从而降低成本

高加速比分布式训练能力

云燧集群通信库添加了RDMA peer-direct特性，，节约了网卡成本且支持多租户隔离

在拓扑算法上进行了升级以更好地支持资源弹性分配

Architecture

Architecture

AI计算及编程软件平台

Platform

Platform

训练推理引擎

训练加速引擎

基于算子泛化技术及图优化策略，，支持主流深度学习框架下的各类模型训练；利用Horovod分布式训练框架与GCU-LARE®互联技术相互配合，，，，为超大规模集群高效运行提供解决方案。。。

开放升级的编程模型和可扩展的算子接口，，，为客户提供了自定义的开发能力。。

推理加速引擎

自研AI推理框架TopsInference，，，提供了更轻量通用的推理图优化能力。。支持众多推理模型，，，并在高吞吐量和低延迟上做了大量优化工作，，，能满足各种推理场景的需求。。

可以提供Python、、C++的API接口，，，大量内建的算子融合策略，，，模型量化和混精支持，，，以及多模型调度。。。

站点地图