XLA

XLA(加速线性代数)是一种开源机器学习编译器。XLA 编译器从 PyTorch、TensorFlow 和 JAX 等热门框架获取模型,并优化模型以便在不同硬件平台(包括 GPU、CPU 和机器学习加速器)上实现高性能执行。例如,在 BERT MLPerf 提交内容中,与不使用 XLA 的相同 GPU 相比,将 XLA 与 8 Volta V100 GPU 结合使用,可实现约 7 倍的性能提升,并将批量大小提升约 5 倍。

作为 OpenXLA 项目的一部分,XLA 由行业领���的机器学习硬件和软件公司(包括阿里巴巴、Amazon Web Services、AMD、Apple、Arm、Google、Intel、Meta 和 NVIDIA)协作构建。

主要优势

  • 随处构建:XLA 已集成到领先的机器学习框架中,如 TensorFlow、PyTorch 和 JAX。

  • 在任何位置运行:它支持各种后端,包括 GPU、CPU 和机器学习加速器,并包括可插入基础架构以增加对更多后端的支持。

  • 最大限度地提升和扩缩性能:它通过经过生产测试的优化传递和自动分区来提升模型并行性,从而优化模型的性能。

  • 消除复杂性:它利用 MLIR 的强大功能,在单个编译器工具链中引入最佳功能,因此您无需管理一系列针对特定领域的编译器。

  • 可满足未来需求:XLA 是一个由领先的机器学习硬件和软件供应商合作构建而成的开源项目,旨在运行机器学习行业的前沿技术。

文档

如需详细了解 XLA,请点击左侧的链接。如果您是新的 XLA 开发者,不妨从 XLA 架构开始,然后阅读代码审核