语音助手,人脸识别,外文翻译等等,AI 已融入到了我们生活的方方面面,极大了促进了社会的发展。深度学习是 AI 的核心技术,在图像分类,自然语言处理,自动驾驶等众多领域显示出了强大的能力,其中 Caffe,TensorFlow,Keras,PyTorch 是主流的深度学习框架,拥有强大的社区支持,是实践深度学习不可或缺的工具。
以 Docker 和 K8S 为代表的容器技术被越来越多的企业和机构采用,为此青云 QingCloud 推出深度学习平台容器版,将主流的深度学习框架做成 Docker 镜像, 用户无需为搭建环境浪费时间,直接通过容器启动配置好的深度学习平台,使得用户可以专注于深度学习应用的开发,避免了框架繁琐的安装部署流程,还可以按需选择不同版本的深度学习框架 Docker 镜像,实现定制深度学习平台的目的,提高用户的开发和部署效率。
1: 青云深度学习平台容器版
青云深度学习平台容器版提供 GPU 和 CPU 两个容器版本:
其中 GPU 版本分为 GPU 高级版和 GPU 基础版,均搭载 NVIDIA Tesla P100 GPU,GPU 高级版和 GPU 基础版的区别在于 CPU 核数、内存的可配置范围以及是否支持包年包月。
CPU 版本为 QingCloud 深度学习平台携手 Intel,推出了两个针对 Intel CPU 优化的深度学习平台版本,优化版 1:增加 avx 指令集支持以加速 Caffe, TensorFlow, Keras, PyTorch 训练;优化版 2:增加 avx2, fma 指令集支持和 MKLDNN 库以加速 Caffe, TensorFlow, Keras 训练,增加 avx2 指令集支持加速 PyTorch 训练。
据测试,Intel 优化版 TensorFlow ,在 16 核 Broadwell 平台上,ResNet 50 的推理速度可达 40 imgs/s ,能够满足一些轻量级模型的训练和推理需求。
GPU 容器版在 Docker 宿主机中安装 NVIDIA Driver(387.26),nvidia-Docker2,Docker(18.03.1-ce),CPU 容器版在 Docker 宿主机上安装 Docker(18.03.1-ce),容器版在宿主机上预置了一个或多个 Docker 镜像,镜像中均安装 Caffe(BVLC 1.0 或 Intel 1.1)、TensorFlow(1.8.0),Keras(2.2.0),PyTorch(0.4.1)框架。
同时,为满足用户对不同 Deep Learning 框架版本、python 版本和 CUDA 版本的需求,青云深度学习平台容器版提供了匹配不同版本的多个Docker image,用户可依据需要拉取,各框架的 Repository 地址如下:
深度学习框架镜像仓库
TensorFlow:
https://hub.Docker.com/r/qingcloud/tensorflow/
Keras:
https://hub.Docker.com/r/qingcloud/keras/
Pytorch:
https://hub.Docker.com/r/qingcloud/pytorch/
Caffe:
https://hub.Docker.com/r/qingcloud/caffe/
TensorFlow+Keras+Pytorch+Caffe:
https://hub.Docker.com/r/qingcloud/deeplearning/
PS: 接下来,我们还将推出基于 K8S 的机器学习/ 深度学习平台,敬请期待。
2: 平台性能测试
为了让用户快速了解深度学习平台的性能指标以便于选择,我们使用 TensorFlow 性能测试代码中的 CNN Benchmark ,对常用硬件配置组合进行了测试。 我们选择 ResNet-50 模型,调用 Python 3.6 + TensorFlow 1.7.0 环境,使用合成数据进行测试。
3: 模型和数据
为了方便用户使用,我们收集了深度学习常用的数据集,以及一些常用模型的预训练权重,放在对象存储中,用户可直接使用这些数据开始自己的工作,节省下载数据的时间,提高工作效率。(下载地址:http://t.cn/RkK0v6y)
4: 训练与推理实践
为了方便用户的学习和实践,我们还提供了包含图像分类、目标检测、人脸识别及自然语言处理的示例,以下简单举例说明。(更多案例:http://t.cn/RkK0Lnl )
更多使用问题可查阅用户指南:
https://docs.qingcloud.com/product/ai/deeplearning/