AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
议程
• Amazon SageMaker是什么?
• 如何开始使用Amazon SageMaker?
• 演示• 通过内置算法实现图像识别• 通过自带算法实现图像识别
• Q&A
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
收集和准备训练数据
选择和优化机器学习算法
安装和管理训练环境
训练和调试模型(不断试错)
在生产系统中部署模型
扩充和管理生产环境
机器学习应用开发生命周期
确定业务需求
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
亚马逊的快速、可扩展算法
分布式TensorFlow & MXNet
使用自带算法(BYOA)
超参数优化
界面 托管训练
Amazon SageMaker 组件
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
亚马逊的快速、可扩展算法
分布式TensorFlow & MXNet
使用自带算法(BYOA)
超参数优化
界面 托管训练
Amazon SageMaker 组件
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
… 或者通过EMR和SageMaker Spark
SDK使用Apache
Spark...
界面
使用SageMaker托管的笔记本实例…
... 或SageMaker控制台的点击操作...
... 或者您的设备(EC2, 笔记本等.)
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
亚马逊的快速、可扩展算法
分布式TensorFlow & MXNet
使用自带算法(BYOA)
超参数优化
界面 托管训练
Amazon SageMaker 组件
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
零设置
训练
流式数据集+分布式计算
Docker / ECS 在本地、SageMaker、Greengrass或
DeepLens部署训练模型
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
亚马逊的快速、可扩展算法
分布式TensorFlow & MXNet
使用自带算法(BYOA)
超参数优化
界面 托管训练
Amazon SageMaker 组件
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
亚马逊的快速、可扩展算法
分布式TensorFlow & MXNet
使用自带算法(BYOA)
超参数优化
界面 托管训练
Amazon SageMaker 组件
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
支持流式数据集 更快的训练过程 超大数据集上的稳定性 内置多种机器学习算法
Amazon SageMaker: 10倍优化的算法
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
用于监督学习的XGBoost, FM,
Linear, 以及Forecasting
用于聚类和预处理的Kmeans, PCA,
and Word2Vec
使用卷积神经网络的图像分类算法
用于主题建模的LDA
和 NTM,以及用于翻译的seq2seq
内置算法
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
亚马逊的快速、可扩展算法
分布式TensorFlow & MXNet
使用自带算法(BYOA)
超参数优化
界面 托管训练
Amazon SageMaker 组件
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
… 在单个笔记本实例上探索和改进模型
TensorFlow & MXNet 容器
… 部署到生产数据采样… 使用相同的代码在GPU实例集群中对完整数据集进行训练 …
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
亚马逊的快速、可扩展算法
分布式TensorFlow & MXNet
使用自带算法(BYOA)
超参数优化
界面 托管训练
Amazon SageMaker 组件
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
自带算法
... 将算法代码添加到Docker容器...
挑选您的首选框架... ... 发布到 ECS
Amazon ECS
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
亚马逊的快速、可扩展算法
分布式TensorFlow & MXNet
使用自带算法(BYOA)
超参数优化
界面 托管训练
Amazon SageMaker 组件
AWS中国(宁夏)区域由西云数据运营AWS中国(北京)区域由光环新网运营
SageMaker Notebooks
训练算法
SageMaker训练
Amazon ECR
Code Commit
Code Pipeline
SageMaker线上部署与托管
Coco 数据集
AWS Lambda
APIGateway
建立
训练
部署
基于S3的静态网站托管
预测请求
Amazon S3
Amazon Cloudfront
基于CloudFront
内容分发
完整的参考架构