Science DMZ e Internet do Futuro: novas iniciativas
LARC-PCS-EPUSP
Tereza Cristina Melo de Brito Carvalho ([email protected]) Fernando Frota Redigolo ([email protected])
Dino Magri ([email protected])
LARC-PCS-EPUSP
• Laboratório de Arquitetura e Redes de Computadores – Vínculo: Escola Politécnica da USP – Poli – USP – 8 professores – 50 colaboradores, entre graduação,
mestrandos, doutorandos e pós-doutorandos. – www.larc.usp.br
Agenda
• Parte 1 – Science DMZ – E-Ciência e Transferência de Dados – Programas DMZ Científica da RNP – Estudo de Caso – Arquitetura – Componentes da DMZ Científica
• Parte 2 – Internet do Futuro – Testbeds em Internet do Futuro – Federação de Testbeds
Agenda
• Parte 1 – Science DMZ – E-Ciência e Transferência de Dados – Programa DMZ Científica da RNP – Estudo de Caso – Arquitetura – Componentes da DMZ Científica
• Parte 2 – Internet do Futuro – Testbeds em Internet do Futuro – Federação de Testbeds
Science DMZ
• Movimentação de grande volume de dados motivado pela colaboração e distribuição de recursos
• Fundamental para realização da e-ciência • Conjunto de dados de 100+GB até ~TBs agora são
comuns
E-Ciência e Transferência de Dados
Science DMZ
• Tempo para transferência de 1TB é de pelo menos 30 horas (100 Mbps), ou 3 horas (1 Gbps) ou 20 minutos (10 Gbps), em condições ideais
E-Ciência e Transferência de Dados
Science DMZ
• Porém nem sempre as coisas acontecem como no mundo ideal ...
– Transferência de arquivos com diferentes ferramentas
E-Ciência e Transferência de Dados
Serv. A
Serv. A
Roteador Linux
• Experimento 1: cluster de emulação de redes – Emulab/ProtoGENI
• Servidores físicos dedicados, sem otimização • Transferência disco-a-disco
• 3 arquivos: 1G, 10G e 50GB • 3 ferramentas: scp, ftp, xrootd
• Enlaces de 1Gbps, com roteamento • Testes com enlaces (iperf) indicaram 914 Mbps
disponível para transferência A para B
Science DMZ
• Ferramentas com diferentes vazões
• Mesma ferramenta com diferentes vazões dependendo do tamanho do arquivo!!
E-Ciência e Transferência de Dados
Science DMZ
• E a questão de segurança? – Transferência de arquivos com e sem firewall
E-Ciência e Transferência de Dados
Serv. A
Serv. A
Roteador ou Firewall
Linux
• Experimento 2: mesmo setup anterior • Transferência disco-a-disco
• 1 arquivo: 1G • 1 ferramenta: xrootd
• Testes com ou sem regras no firewall • 6314 regras iptables
Science DMZ
E-Ciência e Transferência de Dados
0,00#
100,00#
200,00#
300,00#
400,00#
500,00#
600,00#
700,00#
800,00#
Sem#Firewall# Com#Firewall#Vazão#(Mbps)# 795,47# 24,80#
Vazão&(M
bps)&
Vazão&Xrootd&1&Arquivo&1G&(Mbps)&
Science DMZ
E-Ciência e Transferência de Dados Caso de Uso: University of Utah
Va
zão
Sem o firewall da UoU Com o firewall da UoU
Fonte: www.es.net
A UoU tem 2 links de 10Gb/segundo para a rede de educação de Utah que tem 10Gb/s para Internet2
Science DMZ
• Por que isso acontece? • Como investigar esta questão?
• Como resolver esta questão?
E-Ciência e Transferência de Dados
Science DMZ
• Equipamentos, configurações, arquiteturas previstas para fluxos tradicionais de Redes Corporativas – Aplicações Internet: Web, Email, VoIP, P2P, Vídeo, … – Sistemas Corporativos: ERP, Finanças, … – Sistemas de Controle: catracas, CCTV, etc. – Dispositivos: desktops, notebooks, smartphones, tablets, … – Segurança: Firewalls, IDS, Proxies, …
Redes Corporativas vs Redes Científicas
Science DMZ
• Fluxos Tradicionais – Web, email, etc. – Grande número de
fluxos consumindo pouca banda cada.
– Pequena taxa de perda de pacotes não afeta desempenho de forma significativa
– Filtragem complexa
Redes Corporativas vs Redes Científicas
• Fluxos Científicos – Transferência dados – Pequeno número de
fluxos consumindo muita banda
– Pequena taxa de perda de pacotes afeta desempenho de forma significativa
– Controle simples
Science DMZ
Zona Desmilitarizada Científica
• Conceito originário da ESnet
• http://fasterdata.es.net
• Segmento especializado da rede de um laboratório ou campus, especializado para a computação científica de alto desempenho, com políticas e configurações diferenciadas das existentes na rede de produção
• Localizada próxima ao perímetro da rede
• Suporte ao uso de aplicações científicas de banda larga
Science DMZ
Benefícios Science DMZ
• Para os pesquisadores
• Melhores serviços de rede para e-Ciência = Melhorias nas pesquisas colaborativas
• Para a equipe de TIC
• Menor tempo para arrumar problemas de performance = menor esforço de equipe
• Implementação apropriada e separada da política de segurança = baixo risco
Science DMZ
Plataforma de Inovação da Internet2
Pilares para Inovação em Pesquisa e Educação
Projeto Science DMZ - RNP
(SD)2 – Grupo de Desenvolvimento
• Pesquisadores: • Profa. Tereza Cristina M.B. Carvalho • Fernando Frota Redigolo • Dino Magri
• Parcerias • Centro de Computação Eletrônica/USP
• Principais Atividades • Definição de um Protótipo de Science DMZ para uso nas
universidades Brasileiras • Especificação e implantação de Science DMZ em 6
universidades. A implantação será realizada em duas fases.
Projeto Science DMZ - RNP
Instituições Selecionadas
• Science DMZ 10G • INPE – 1ª fase • USP – 1ª fase
• Science DMZ 1G: • UFPE* – 1ª fase • UFRJ – 1ª fase • Observatório Nacional (ON) – 2ª fase • IFPE* – 2ª fase
Projeto Science DMZ - RNP
Instituição Aplicação Volume Observações
UFRJ Imagens e Vídeos Neurologia
200GB/dia
Atualmente não consegue realizar a ciência por problemas de banda e conexão
UFPE BD Genética Vegetal
18TB/dia Wget - 3 a 4 semanas scp - 4 a 6 semanas
INPE Dados Meteorológicos
240 MB/dia
24 horas p/ transferência
USP Possíveis casos – IAG – Instituto de Astronomia, Geofísica e Ciências Atmosféricas e IF – Instituto de Física
Estudo de Caso
Projeto Science DMZ – USP / Ohio State University
Ohio State University Supercomputing Center
LARC-EPUSP Optiportal
• Testes entre Science DMZ das 2 instituições • Interoperabilidade e desempenho • Possíveis Áreas: Biologia, Clima, Astronomia, Física de Partículas,
Medicina • Possíveis Aplicações: Remote Rendering, – Chamada FAPESP/Ohio para intercâmbio – Início: Outubro/2013
Science DMZ Arquitetura e Equipamentos
Arquitetura Science DMZ
Arquitetura Genérica
Firewall
perfSONAR
Atraso
perfSONAR
Banda DTN (Data Transfer Node)
Internet Acadêmica
Rede Produção Campus
Switch
DMZ Cientifica
Roteador de borda
• Cluster HPC • Laboratórios de
Pesquisa Científica
Arquitetura Science DMZ
Componentes - Rede
• Dispositivos de rede de alta capacidade
• Evitar a perda de desempenho da transferência em casos de rajadas (bursts)
• Switch com “Deep Buffer” para transferência em longa distância
• > 60MB p/ switches 1/10G
• ACLs simples para filtragem se necessário
• OpenFlow opcional, porém recomendado
Arquitetura Science DMZ
Componentes - DTN
• Transferência disk-to-disk
• 3 pontos principais
1. Hardware Especializado (Máximo número de cores e mínimo números de processadores, 32+ GB, controladora RAID com 1 GB cache, RAID-0 e placa de rede com suporte a RDMA (Remote Direct Memory Access)
2. Otimizações de SO (TCP buffer autotuning, otimizações dos parâmetros de TCP e UDP, da placa de rede e do sistema de arquivos)
3. Aplicações Especializadas (Transferência paralela de dados (scp/sftp com patch, xrootd, gridftp)
Arquitetura Science DMZ
Componentes – Nós de Monitoramento
• Software: perfSONAR
• Ferramentas para medições – resolução de problemas de desempenho fim-a-fim
• Usado na ESnet, Internet2, RNP
• Permite que o próprio cientista possa ter acesso a dados da rede e executar testes
• 2 Testes Principais
• Atraso (owamp): testes periódicos
• Banda (bwctl): sob demanda
Science DMZ - Equipamentos
Equipamentos Kit RNP
Kit 1G Kit 10G
Switch Brocade CES 2024C – 24 portas 1GbE – 64MB Buffer
Brocade CES 2024C-4X – 4 portas 10 GbE SFP+, 192MB Buffer
DTN Xeon E5, 64GB, 10x1TB 7.2k SATA, , Placa Intel EXPI930CT offboard, 1U
Mesmo servidor do kit 1G, Mellanox 1x 10GbE (SFP+), cabo Direct Attach SFP+
perfSONAR Atraso e Banda
Xeon E3, 4GB, 1TB 7.2k SATA, Placa Intel EXPI930CT offboard, 1U
Mesmo servidor do kit 1G, Intel 1x 10GbE (SFP+), cabo Direct Attach SFP+
Science DMZ - Equipamentos
Equipamentos Kit RNP
• Switch – “Deep Buffer” • Recomendado > 60MB p/
switches 1/10G • 10G – 192MB • 1G – 64MB
• Dificuldade de adquirir switches de pequeno porte com esta especificação
• Switch com suporte a SDN/OpenFlow • Para maior facilidade de provisionamento e aplicações
inovadoras
Science DMZ - Equipamentos
Placa 10G p/ DTN
• Mellanox placa MCX311A-XCAT com
• RDMA (Remote Direct Memory Access) • Suporte a OpenFlow
Science DMZ
Questões de segurança
O desafio é balancear a segurança com o desempenho
• A segurança é tratada de forma diferente
• Fluxos de ciência são relativamente simples da perspectiva de segurança
• Pequeno conjunto de aplicações
• ACLs, SDN/OpenFlow
Políticas e mecanismos de segurança que protegem a Science DMZ devem ser implentadas para que a performance não seja comprometida.
Novas Iniciativas de Internet do Futuro
Agenda
• Parte 1 – Science DMZ
• Parte 2 – Internet do Futuro – Testbeds em Internet do Futuro – Federação de Testbeds
Experimentação em Internet do Futuro
• Problema: Como testar uma nova arquitetura para a Internet ? – Internet foi refinada através de uso….
• Plano – Pesquisa de novas arquiteturas.
• Testes teóricos, simulação, análise, etc.
– Construção de um ambiente experimental para o teste destas novas arquiteturas.
– Teste das propostas neste ambiente experimental (a.k.a testbed)
• Uso de sistemas reais!
Testbeds de Internet do Futuro
• Testbeds para pesquisa em Internet do Futuro – GENI (EUA), – FIRE (Europa), – FIBRE (Brasil)
• Redes de Experimentação Programáveis e Virtualizáveis
Projeto FIBRE Future Internet - BRasil - Europa
• Infraestrutura compartilhada para pesquisa em FI
• Brasil: 10 Ilhas interligadas via RNP – Switches OF, servidores NetFPGA, servidores de computação,
nós sem fio – 1 Ilha na USP c/ Integração ao testbed Kyatera/Emulab
(emulação de redes)
• Coordenação Ilha USP: • Profa. Tereza Cristina M. B. Carvalho
Conexões Internacionais (L2)
36#
Circuito L2 estático Bristol – USP & CPqD (via Internet2/AmPATH e Rede GIGA)
Circuito L2 estático i2Cat– USP (via RedCLara)
Fonte (adaptado): Michael Stanton (RNP)
Federação de Testbeds
• Até recentemente, pouca integração entre iniciativas/testbeds em IF – Ex.: recursos GENI só conversavam com recursos GENI – Cada Demo USP – GENI demoram algumas semanas
de planejamento e integração
• 2013: discussões para interoperabilidade de testbeds – Experimentos envolvendo recursos em diferentes
países – Autenticação federada
Federação de Testbeds
• GENI Engineering Conference 17 (Jul/2013) – Reunião para federação internacional – Webconferences Regulares
• Objetivo: – Como fazer para que um estudante/pesquisador
no Brasil / EUA / Europa e/ou Japão possa alocar um experimento envolvendo recursos em vários países
• Sem exigir novas contas! • Sem exigir configurações especializadas manuais de rede!
Federação de Testbeds
• Testbeds Envolvidos – GENI (EUA) – InstaGENI, ExoGENI, ProtoGENI – FIRE e Fed4FIRE (Europa) – OFELIA (Europa) – FIBRE (Brasil / Europa) – ANSP/RNP – GLAB (Alemanha) – Vnode (Japão)
• 18o GENI Eng. Conference – Out/2013 – 1as integrações em demonstração – “Slice around the
world” – Discussão de próximos passos
