Post on 06-Jul-2020
transcript
Azure データ サービスを使ったアーキテクチャ設計～ 「Azure データアーキテクチャガイド」を中心に～
DA20
https://twitter.com/satonaoki
https://satonaoki.wordpress.com
http://aka.ms/weeklyazure
スピーカー
http://www.shuwasystem.co.jp/products/7980html/4573.html
https://www.oreilly.co.jp/books/9784873117140/
https://www.microsoft.com/ja-jp/events/decode/2018/sessions.aspx#DA20
セッション概要
https://docs.microsoft.com/azure/architecture/data-guide/
https://docs.microsoft.com/azure/architecture/guide/technology-choices/data-store-overview
https://docs.microsoft.com/azure/architecture/guide/architecture-styles/event-driven
https://docs.microsoft.com/azure/architecture/guide/architecture-styles/big-data
https://docs.microsoft.com/azure/architecture/guide/design-principles/use-the-best-data-store
https://docs.microsoft.com/azure/architecture/patterns/category/data-management
https://docs.microsoft.com/azure/architecture/best-practices/data-partitioning
https://docs.microsoft.com/azure/architecture/antipatterns/
Azure データ アーキテクチャ ガイド
https://docs.microsoft.com/azure/architecture/data-guide/
https://docs.microsoft.com/azure/architecture/data-guide/
Azure データ アーキテクチャ ガイド
Azure データ アーキテクチャ ガイド
従来の RDBMS ワークロード
従来の RDBMS ワークロード
オンライン トランザクション処理 (OLTP)
トランザクション データの一般的な特徴要件 説明 要件 説明
正規化 高度に正規化 ワークロード 高負荷の書き込み。
中程度の読み取り
スキーマ 書き込み時のスキーマ。
厳密に適用
インデックス作成 プライマリ インデックスと
セカンダリ インデックス
整合性 強力な一貫性。ACID を保証 データ サイズ 小～中のサイズ
整合性 高い整合性 モデル リレーショナル
トランザクションの使用 はい データ シェイプ 表形式
ロック戦略 ペシミスティックまたは
オプティミスティック
クエリの柔軟性 高い柔軟性
更新可能 はい スケール 小 (MB) ～大 (数 TB)
追加可能 はい
OLTPの課題
Azureのおける OLTP
https://docs.microsoft.com/azure/architecture/data-guide/relational-
data/online-transaction-processing
Azure における OLTPの選択条件
データ ウェアハウス
データ ウェアハウスの課題
Azure におけるデータ ウェアハウス
Azure におけるデータ ウェアハウス
Azure におけるデータ ウェアハウスの選択条件
https://docs.microsoft.com/ja-jp/azure/architecture/data-
guide/relational-data/data-warehousing
Azure におけるデータ ウェアハウスの選択条件
オンライン分析処理 (OLAP)
セマンティック モデリングの一般的な特徴
要件 説明 要件 説明
スキーマ 書き込み時のスキーマ。
厳密に適用
インデックス
作成
多次元イン
デックスの作成
トランザクションの使用 いいえ データ サイズ 小～中のサイズ
ロック戦略 なし モデル 多次元
更新可能 いいえ (通常はコンピュー
ティング キューブが必要)
データの形 キューブまたは
スター/スノー
フレーク スキーマ
追加可能 いいえ (通常はコンピュー
ティング キューブが必要)
クエリの
柔軟性
高い柔軟性
ワークロード 読み取り量が多い。
読み取り専用
スケール: 大規模 (10 ～
100 GB)
OLAP を使う状況
OLAPの課題
Azure における OLAP
https://docs.microsoft.com/azure/architecture/data-guide/relational-
data/online-analytical-processing
Azure における OLAPの選択条件
抽出、変換、読み込み (ETL)
抽出、読み込み、変換 (ELT)
Azure における ETL/ELT
ビッグ データ アーキテクチャ
ビッグ データ アーキテクチャ
ビッグ データ アーキテクチャ
ビッグ データ アーキテクチャのコンポーネント
ビッグ データ アーキテクチャのコンポーネント
ビッグ データ アーキテクチャのコンポーネント
ビッグ データ アーキテクチャのコンポーネント
ビッグ データ アーキテクチャのコンポーネント
ラムダ アーキテクチャ
カッパ アーキテクチャ
IoT (Internet of Things)
バッチ処理
リアルタイム処理
対話型データ探索
大規模な機械学習
大規模な機械学習
大規模な機械学習
適切なデータ ストアの選択
https://docs.microsoft.com/azure/architecture/guide/technology-choices/data-store-overview
https://contenthost.blob.core.windows.net/infographic/Choosing%20a%20Data%20Store.pdf
データ ストアの選択条件 -機能要件
データ ストアの選択条件 -機能要件
データ ストアの選択条件 –非機能要件
データ ストアの選択条件 –管理とコスト
データ ストアの選択条件 –セキュリティ
データ ストアの選択条件 – DevOpsセキュリティ
https://contenthost.blob.core.windows.net/infographic/Choosing%20a%20Data%20Store.pdf
RDBMSのワークロード
RDBMSのデータの種類
RDBMSの使用例
非リレーショナル データと NoSQL
非リレーショナル データ ストア
キー/値ストア
キー/値ストアのワークロード
キー/値ストアのデータの種類
キー/値ストアの使用例
ドキュメント データベース
ドキュメント データベースのワークロード
ドキュメント データベースのデータの種類
ドキュメント データベースの使用例
列ファミリ データベース (カラムナ/列指向)
列ファミリ データベースのワークロード
列ファミリ データベースのデータの種類
列ファミリ データベースの使用例
グラフ データベース
グラフ データベースのワークロード
グラフ データベースのデータの種類
グラフ データベースの使用例
時系列データベース
時系列データベースのワークロード
時系列データベースのデータの種類
時系列データベースの使用例
オブジェクト ストレージ
オブジェクト ストレージのワークロード
オブジェクト ストレージのデータの種類
オブジェクト ストレージの使用例
NoSQL -外部インデックス データ ストア
外部インデックス データ ストアの使用例
まとめ
https://docs.microsoft.com/azure/architecture/data-guide/
https://docs.microsoft.com/azure/architecture/guide/technology-choices/data-store-overview
© 2018 Microsoft Corporation. All rights reserved.
本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。