Page 1
Microsoft TechDays 2007 - Lisboa 23/03/2007 11:32 AM
2007 Microsoft Corporation. All rights reserved.
This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 1
SRV003
Compute Cluster Server 2003: IntroduçãoAlexandre [email protected] Consultant, ParaRede
Patrocinadores Agenda
Evolução da Super Computação
Windows Compute Cluster Server 2003
Arquitectura e Funcionalidades
Topologia de Rede
Integração com infra-estruturas Windows
MSMPI
Execução de Aplicações
Page 2
Microsoft TechDays 2007 - Lisboa 23/03/2007 11:32 AM
2007 Microsoft Corporation. All rights reserved.
This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 2
Super Computação
As soluções mais complexas requerem mais recursos do que osdisponibilizados por sistemas convencionais
O aumento das necessidades de poder de cálculo, aliado à contenção de orçamento nas TIs, fomentou novas abordagens
Previsão e simulação metereológica
Design aeronáutico com materiais compósitos
Simulações de enzimas e proteínas
Simulação sísmica e climatérica
Produção de medicamentos
Simulação de equipamento electrónico
Criação de conteúdo digital
Análise e simulação de risco financeiro
Custos de Hardware
1991 1998 2005
System Cray Y-MP C916 Sun HPC10000 Shuttle @ NewEgg.com
Architecture 16 x Vector4GB, Bus
24 x 333MHz Ultra-SPARCII, 24GB, SBus
4 x 2.2GHz x644GB, GigE
OS UNICOS Solaris 2.5.1 Windows Server 2003 SP1
GFlops ~10 ~10 ~10
Top500 # 1 500 N/A
Price $40,000,000 $1,000,000 (-40x) < $4,000 (-250x)
Customers Government Labs Large Enterprises Every Engineer & Scientist
Applications Classified, Climate, Physics Research
Manufacturing, Energy, Finance, Telecom
Bioinformatics, Materials Sciences, Digital Media
Evolução do Mercado
Maior
utilização pela
industria
Aumento
da
utilização
de GigE
70% +
Clusters
X86 ou
x64 lidera o
mercado
Clusters
Page 3
Microsoft TechDays 2007 - Lisboa 23/03/2007 11:32 AM
2007 Microsoft Corporation. All rights reserved.
This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 3
Compute Cluster Server
Core Platform
Baseado no Windows Server 2003 SP1 64 bit Edition
Suporte para InfiniBand e Myrinet
Administração
Instalação e administração simplificada
Segurança baseada em Active Directory
Gestão de processos extensível e simplificada
Integração com infra-estrutura existente (MOM, SMS, RIS)
Desenvolvimento
Gestão e submissão de processos via .NET and DCOM
Stack MPI standardizado
Suporte para Visual Studio 2005 (Parallel Debugger)User App
MPI
Node Manager
Job Execution
DB/FS
User
Cmd line
Desktop App
Job Mgr UIAdmin
Admin
Console
Cmd line
Head Node
Job Mgmt
Resource Mgmt
Cluster Mgmt
Scheduling
High speed,
low latency interconnect
Ta
sks
Ma
na
gem
en
t
Jobs Policy, reports
Active
Directory
Web Serv ices
Data
Inp
ut
Arquitectura
MPINetwork
PrivateNetwork
PublicNetwork
Corporate IT Infrastructure
Compute NodeHead Node
AD
DNS
DHCP
Windows Update
Monitoring
• MOM
• 3rd party
SystemsManagement
• SMS
• 3rd party
Compute Cluster
Topologia de Rede
Admin / User Cons
RIS
Job Scheduler
MPI
Management
NAT
Node Manager
MPI
Management
Compute Node
Node Manager
MPI
Management
Integração com Infra-estrutura Windows
Active Directory
Microsoft Enterprise
Management Tools
Windows Security
Compute Cluster Built-in Tools
Operations Manager
Systems Management Server
Windows Update Services
Secure Job Execution
Remote Installation Services
Admin Console
Performance Monitor
Command Line Interface
Kerberos Authentication
Resource Management
Group Policies
Integration with IT Infrastructure
Job Scheduler
Secure MPI
Page 4
Microsoft TechDays 2007 - Lisboa 23/03/2007 11:32 AM
2007 Microsoft Corporation. All rights reserved.
This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 4
Modelo conceptual das tarefas
Serial Job
Task
Proc
Parallel MPI Job
Task
Proc ProcIPC
Parameter Sweep Job
Task
Proc
Task
Proc
Task
Proc
Task Flow Job
Task
Task
Task
Task
Secure channel
credential
Segurança permanente
Node Mgr
Secure channel
credentialClient Scheduler
MSDE
Data Protection API
credential
Task
Spawn
Logon token
Logon as user
DB/FS
ActiveDirectory
Data
Kerberos
KerberosLSA
Automatic Ticket renewal
Arquitectura Scheduler
WS (WSE
3.0)
COM
API
Command
Line Interface
User
Console
Admin
Console
User Interface Handlers
Queueing
Job Management Resource Management
Node
Manager
Node
Manager
Node
Manager
Node
Manager
Node
Manager
Node
Manager
Third-party
Applications
Interface
Layer
Scheduling
Layer
Execution
Layer
Object Model
User Admin
Head Node
Client Node
Compute Node
Admission
Allocation
Activation
Jobs/Tasks
Ferramentas de Administração
NameTitle
Page 5
Microsoft TechDays 2007 - Lisboa 23/03/2007 11:32 AM
2007 Microsoft Corporation. All rights reserved.
This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 5
MPIO MPI Forum arrancou em 1992 com suporte alargado da indústria
Vendors: IBM, Intel, TMC, SGI, Convex, Meiko
MPI é uma especificação standard, com diferentes implementações:
MPICH e MPICH2 da Argonne é das mais utilizadas
MSMPI é baseado em (e compatível com) MPICH2
Outras implementações incluem LAM-MPI, OpenMPI, MPI-Pro,
WMPI
Porque utilizar MPI?
MPI é actualmente o standard utilizado para processamento
paralelo
MPI é composto por três partes:
API com mais de 160 funções
Biblioteca de gestão e execução de processos
Utilitário mpiexec para execução de aplicações
MSMPI
Networking Hardware
Virtual Bus Driver
IP
TCP User Host Channel Adapter Driver
IB WinSock Provider DLL
Miniport (GigE)
Miniport (IPoIB)
Kernel API (verbs based)
User API (verbs based)
Host Channel Adapter Driver
GigE RDMA
WinSock Provider
DLL
IHV-provided component
OS component
NDIS
WinSock DLL
IBw/ RDMA
GigE
w/ RDMA
Ethernet
User Mode
Kernel Mode
HPC Application
MPI
Winsock Switch
User
Excel
Desktop App
Web App
Excel
Service
Web
Front End
Excel
Web
Access
Excel
Web
Services Ex
ce
l Ca
lcu
lati
on
Se
rvic
e
Pro
xy
Head Node
Domain\UserA
Jobs
Man
ag
em
en
t
Ta
sk
s
Compute Nodes
Excel Calculation Service
Compute Cluster
Cliente Excel Services
External Data Sources
Head Node
Jobs
Man
ag
em
en
t
Ta
sk
s
Compute Nodes
Compute Cluster
Mathematical Calculations
Aplicação HPCExcel 2007
Page 6
Microsoft TechDays 2007 - Lisboa 23/03/2007 11:32 AM
2007 Microsoft Corporation. All rights reserved.
This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 6
Sumário
Evolução da Super Computação
Windows Compute Cluster Server 2003
Arquitectura e Funcionalidades
Topologia de Rede
Integração com infra-estruturas Windows
MSMPI
Execução de Aplicações
Resources/Recursos Úteis
Microsoft HPC Web site
http://www.microsoft.com/hpc/
Windows Server x64 information
http://www.microsoft.com/64bit/
http://www.microsoft.com/x64/
Windows Server System information
http://www.microsoft.com/wss/
Blog
http://blogs.msdn.com/hpc
Pergunte aos EspecialistasObtenha Respostas às Suas Questões
21 de Março, 9h30-12h00
Page 7
Microsoft TechDays 2007 - Lisboa 23/03/2007 11:32 AM
2007 Microsoft Corporation. All rights reserved.
This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 7
Outros RecursosPara Profissionais de TI
TechNet Plus2 incidentes de suporte gratuito profissional
software exclusivo: Capacity Planner
software Microsoft para avaliação
actualizações de segurança e service packs
acesso privilegiado à knowledge base
formação gratuita
e muito mais.
www.microsoft.com/portugal/technet/subscricoes
Questionário de AvaliaçãoPassatempo!
Complete o questionário de avaliação e devolva-o no balcão da recepção.
Habilite-se a ganhar uma Xbox 360 por dia!
SRV0003
Compute Cluster Server 2003: Introdução
© 2007 Microsoft Corporation. All rights reserved.This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.
