目标

AI Matrix是一个测试AI软件框架和硬件平台的标准测试平台。它旨在为用户提供一个测量不同AI软件和硬件的方法并且比较它们之间的优劣。它帮助用户了解各种影响AI硬件性能的因素并帮助用户改进硬件设计。

AI Matrix包含四类测试：底层测试，分层测试，完整测试，和合成测试(StatsNet)。测试粒度逐级增加。

• 底层测试着重于AI硬件计算中重要的GEMM计算
• 分层测试着重于评价神经网络里面的每一层
• 完整测试着重于评价不同应用领域的完整模型
• 合成测试则是我们提出的一种创新想法，希望通过合成模型从统计的角度来来模拟已有的模型同时提供一些灵活性以测试硬件。

这里收录的大部分应用是基于Tensorflow，小部分应用是基于Caffe。Tensorflow是AI应用领域最重要的软件框架之一，在阿里巴巴内部广泛应用。而Caffe是AI软件框架的先行者，有很多模型还是基于Caffe框架。因为资源有限，目前我们只收集了基于这两个软件框架的应用，但是在未来我们会扩展到其他软件框架。