Date post: | 13-Dec-2014 |
Category: |
Technology |
Upload: | - |
View: | 871 times |
Download: | 3 times |
Alexey BokovЭксперт по облачной платформе Windows Azure [email protected]
Windows Azure – облачные сервисы для больших данных
BigData Dive : Minsk 19 September 2012
abokov
• Содержание:• Облако Windows Azure• Что такое BigData• Hadoop как сервис • GridGain кластер
24 узла в CDN: Ashburn, San Francisco, Chicago, San Antonio, Los Angeles, Miami, Newark, Seattle, Amsterdam, Dublin, London,
Moscow, Paris, Stockholm, Vienna,
Zurich, Hong Kong, Sao Paulo, Seoul,
Singapore, Sydney, Taipei, Tokyo, Doha
8 датацентров: - 4 поколение на ITPAC - площадь~ 28 100 кв - мощность ~ 16 МВт - PUE ~ 1.05-1.22 - стоимость ~ 500М $
Windows Azure - инфраструктура
North Central US
South East Asia
East AsiaNorth Europe-Dublin
West Europe - Amsterdam
South Central US
East USWest US
Windows Azure - инфраструктура
Подробнее о датацентрах Microsoft: ou.gs/wadc
Технологии:• Гибкость, масштабируемость• Оплата по факту использования• Инфраструктура на Windows Server или Linux - как сервис• SLA 99.95%• Полезные облачные сервисы
Виртуальные машины• ОС : Windows Server, CentOS, SUSE, Ubuntu, openSUSE• Доступ через Remote Desktop ( Windows ), root ssh ( Linux )
Есть RESP API для управления виртуальными машинами
Windows Azure Виртуальные машины
1 ядро x 1.6Ghz
1.75 GB memory 250 GB storage
100 Mbps network
2 ядра x 1.6Ghz
3.5 GB memory 500 GB storage
200 Mbps network
Small0.085/0.15
Medium0.17/0.23
X-Large0.68/0.92
Large 0.34/0.46
4 ядра x 1.6Ghz
7.0 GB memory1000 GB storage
400 Mbps network
8 ядер x 1.6Ghz
14 GB memory2000 GB 800 Mbps network
0.02
Extra Small
1 x 1.0Ghz
Разделяемое ядро768 MB
memory 20 GB storage
5 Mbps network
Стоимость Linux/Windows, $ за час
Windows Azure Хранилища данных
Надежная платформа с возможностями гибкого масштабирования ресурсов
Compute$0.04-0.96/hour
+ Variable Instance Sizes
Per service hour
StoragePer GB stored and
transactions$0.12 GB/month
$0.01/100k transactions
Caching
128MB cache for $45/monthPer Message Operation
$1.99/10k transactionsPer Message Operation
Access Control
Prices shown in USD only. International prices are available
$0.10/100 Relay Hours$0.01/10,000 Messages (Queues/Topics/Relays)
Per Message OperationService Bus
Windows Azure
Windows Azure дополнительные сервисы
Реляционная база данных с высоким уровнем доступности и удобным масштабированием
Web Edition$9.99/month
(up to 1 GB DB/month)
Business Edition
Starting at $99.99/month
(10-50 GB DB/month)
SQL Azure
Windows Azure – немного цифр
Облачное хранилище:• сейчас вмещает
более 4 триллионов объектов в облачном хранилище
• 270 000 обращений в среднем
• Пиковая нагрузка - 860 000 обращений
Полезные сервисы:• Traffic Manager – для геораспределенных сервисов
• CDN – кэширование и быстрый доступ к http контенту
• Media services – обработка видео
• Hadoop as a Service – обработка больших объемов данных
• Очереди Windows Azure Queues, Service Bus
• VPN – гибридные решения
• SQL Azure Trust services, Security services
Программы поддержки• Бесплатные триалы и доступ к сервису: WindowsAzure.com
• Конференции и семинары для разработчиков
• Мероприятия по облачным сервисам – бизнес сценарии
• Поддержка стартапов в программе BizSpark: ms-start.ru
• Продвижение сервисов через магазины приложений
• Технологическая помощь
Веб платформа для спортивных команд Пряники – сервис
для нематериальной мотивации персонала
Сервис для удаленного управления IT ресурсами
Wizee Шопинг – мобильный гид по торговым центрам
Всероссийская школьная образовательная сеть
Инструмент для выбора надежного партнера по разработке веб-сайтов
Облачный сервис по извлечению данных Облачный сервис для
организации и проведения онлайн мероприятий
Сервис для путешественников
Управление процессом подбора персонала
Трансляция премии “Золотой граммофон” онлайн
Онлайн трансляции представлений
Powered by Windows Azure: сделано в России
Платформа создания бизнес-приложений
Сервис создания и обработки диаграмм
Новостной сервис на всех платформах
ERP в облаке
Видео-трансляции
Инструмент поиска по
социальным медиа
Портал для малого бизнеса
Социальная сеть интересных мест
Сервис создания динамического видео
Облачный сервис для дистрибуции авторского контента
Универсальный SaaS для малого бизнеса
Облачный хостинг блогов
Электронный документооборот
Powered by Windows Azure: сделано в России
Powered by Windows Azure: сделано в России
Система управления и контроль внутренних процессов
Мониторинг и аналитика брендов
Рейтинг блогосферы
Википедия бизнес-контактовОбмен информацией о продуктах и технологиях
Cистема мониторинга упоминаний в социальных медиа
Сервис для поиска работыТегирование изображений
Big Data – что это такое?
• Volume - Объем данных, при этом неструктурированные данные могут составлять 70-85%
всех данных и их доля в общем объеме данных продолдает расти.
• Velocity - Скорость обработки данных.
• Variety - Вариативность данных , неструктурированные данные разных типов ( текст,
цифровое медиа, данные с датчиков ) являются преобладающими
• Variability - Диапазон возможной интерпретации данных. Различные цели анализа данных
требуют разных подходов к анализу данных.
Big Data – а много это сколько?
2005130 EB
20081227 EB
20157910 EB
Откуда так много?- Интернет видео – 18 Экзабайт в месяц- Мобильный трафик – 2 Экзабайта в месяц- В 2011 году Фейсбук перенес 11 Петабайт данных в свой Hadoop кластер
- Источники данных – сенсоры, краулеры, устройства оцифровки данных, ERM, CRM системы...
Windows Azure HadoopWindows Azure
Демонстрация
- Платформа на базе JVM – IMDG и вычислительные гриды для BigData
- Примеры внедрений в облаке – более 500 узлов, тестировались кластеры > 2000 узлов
- On-premise внедрение – грид из 1500 узлов.
Демо
Полезные ресурсы• Портал о технологиях Windows Azure: azurehub.ru
• Группа разработчиков Windows Azure: ou.gs/user
• Сообщество по безопасности IT Security: ou.gs/itsec
• Портал Hadoop: hadooponazure.com
• Блог Windows Azure: ou.gs/msdn
• Наш твиттер: @windowsazure_ru
• Контактный email: [email protected]
© 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a
commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.