EGEE is a project funded by the European Union under contract IST-2003-508833
Introduction to the EGEE project
V. Korenkov (JINR, Dubna, PCB member)
www.eu-egee.org
NA3 Induction Courses in the Dubna Conference June 28, 2004
План лекции
• Краткий обзор GRID-проектов
• Основные цели и задачи проекта EGEE
• Организационная структура
• Участники
• Направления работ
• Участие России в проекте EGEE
• Задачи консорциума RDIG-EGEE
• Заключение
Некоторые Grid Проекты
Name URL/Sponsor Focus
Globus™ globus.orgDARPA, DOE, NSF, NASA,
Исследование в области Grid технологий; Globus Toolkit™
EU DataGrid www.eu-datagrid.org
European UnionСоздание Grid для приложений в области Физики Высоких Энергий, Биоинформатики и ООС.
EU DataTAG www.datatag.org Interoperability between European and US Grids
CrossGrid www.crossgrid.org European Union
Создание и тестирование GRID-приложений
EGEE (Enabling Grids for E-science in Europe)
www.eu-egee.org
European UnionСоздание европейского GRID для науки и высоких технологий
LCG (LHC Computing GRID)
www.cern.ch/lcg Создание глобальной системы для экспериментов на LHC
Некоторые Grid Проекты
Name URL/Sponsor Focus
Grid Physics Network griphyn.org
NSF
Cоздание технологий для анализа данных в физике: ATLAS, CMS, LIGO, SDSS
International Virtual Data Grid Laboratory
ivdgl.org
NSF
Создание международной Grid для экспериментов над технологиями и приложениями
TeraGrid teragrid.org
NSF
Научная инфраструктура в США, связывающая 4 организации 40 Gb/s
Particle Physics Data Grid
ppdg.net
DOE Science
Создание Grid для анализа данных в Физике Высоких Энергий и Ядерной физике
Цель и структура проекта EDG
Цель – совершить принципиально важный шаг на пути к реализации концепции
GRID, выражающийся в создании опытной вычислительной инфраструктуры, способной предоставить европейскому научному сообществу возможность совместного использования данных и вычислительных ресурсов.
The EDG collaboration is structured in 12 Work Packages WP1: Work Load Management System WP2: Data Management WP3: Grid Monitoring / Grid Information Systems WP4: Fabric Management WP5: Storage Element WP6: Testbed and demonstrators WP7: Network Monitoring WP8: High Energy Physics Applications WP9: Earth Observation WP10: Biology WP11: Dissemination WP12: Management
}} ApplicationsApplications
EU DataGrid Architecture
Collective ServicesCollective ServicesInformation
& MonitoringInformation
& MonitoringReplica
ManagerReplica
Manager
Grid Scheduler
Grid Scheduler
Local ApplicationLocal Application Local DatabaseLocal Database
Underlying Grid ServicesUnderlying Grid Services
Computing Element Services
Computing Element Services
Authorization Authentication & Accounting
Authorization Authentication & Accounting
Replica CatalogReplica Catalog
Storage Element Services
Storage Element Services
Database Services
Database Services
Fabric servicesFabric services
ConfigurationManagement
ConfigurationManagement
Node Installation &Management
Node Installation &Management
Monitoringand Fault Tolerance
Monitoringand Fault Tolerance
Resource Management
Resource Management
Fabric StorageManagement
Fabric StorageManagement
Grid
Fabric
Local ComputingGrid
Grid Application LayerGrid Application LayerData
ManagementData
ManagementJob
ManagementJob
ManagementMetadata
ManagementMetadata
ManagementObject to
File Mapping
Object to File
Mapping
Logging & Book-
keeping
Logging & Book-
keeping
Участие российских центров в проекте EU DataGRID
Участники:
НИИЯФ МГУ, НИВЦ МГУ, ИТЭФ, ИПМ им. Келдыша, ИФВЭ (Протвино), ОИЯИ (Дубна), ПИЯФ (Гатчина), ТЦ «Наука и общество»
Пакеты WP6, WP8, WP10Основные результаты:
• Создана информационная служба GRIS-GIIS • Создан сертификационный центр (Certification authority, СА) • Создание распределенных хранилищ данных (GDMP, CASTOR, SRB) • Развитие средств Monitoring and Fault Tolerance• Развитие программного продукта Metadispetcher • Участие в сеансах массовой генерации событий для экспериментов на
LHC
Главный результат - получение опыта работы с новейшим программным обеспечением GRID, включение российского сегмента в европейскую инфраструктуру EU DataGRID
CMSATLAS
LHCbLHCbALICE
При ожидаемой скорости записи сырых данных потребуются ресурсы для хранения данных порядка десятков и сотен ПБ.
Для обработки данных потребуются сотни тысяч персональных компьютеров (максимальной на текущий момент производительности)
Эксперименты на LHC
MONARC project
regional group
CERNTier3physics
department
Desktop
Germany
UK
France
Italy
CERN Tier1
USA
Tier1
The opportunity ofGrid technology
Tier2
Uni a
Lab c
Uni n
Lab m
Lab b
Uni bUni y
Uni x
Russia
LHC Computing Model2001 - evolving
Обработка данных и вычисления в физике высоких энергий
интерактивный физический анализ
Подготовка данных
для анализа
Подготовка данных
для анализа
детектор
суммарные данные по событиям
«сырые»данные
Реконструкция событий
Реконструкция событий
моделированиефизических
событий
моделированиефизических
событий
объекты для физического анализа(выделенные по физическим каналам)
Отбор событийи первичная
реконструкция
Отбор событийи первичная
реконструкция
обработанныеданные
Триггер 1-го уровня
Renovation of thecomputer rooms
CPU servers
Disk servers
Tape silos and servers
2.5 MW Power
Preparing the Tier 0+1computer centre
LHC Computing Grid Project (LCG)LHC Computing Grid Project (LCG)
• Основной задачей проекта LCG является создание глобальной инфраструктуры региональных центров для обработки, хранения и анализа данных физических экспериментов LHC.
• Новейшие технологии GRID являются основой построения этой инфраструктуры.
Проект LCG осуществляется в две фазы.
• 1 фаза (2002-2005 гг.) - создание прототипа и разработка проекта системы (LCG TDR).
• 2 фаза (2005-2007 гг.) - создание инфраструктуры LCG, готовой к обработке, хранению и анализу данных на момент начала работы ускорителя в 2007 году.
• Сертификация и распределение процессов установлена • Middleware package – components from –
European DataGrid (EDG) US (Globus, Condor, PPDG, GriPhyN) & the Virtual Data Toolkit
• Достигнуто соглашение о принципах регистрации и безопасности • Rutherford Lab (UK) становится Grid Operations Centre• FZK (Karlsruhe) становится Call Centre
• “Сертификация” доступна в 14 центрах
Academia Sinica Taipei, BNL, CERN, CNAF, Cyfronet Cracow, FNAL, FZK, IN2P3 Lyon, KFKI Budapest, Moscow State Univ., Prague, PIC Barcelona, RAL, Univ. Tokyo
LCG LCG Service
LHC Computing Grid (LCG)
Цель и задачи проекта EGEE
• Цель проекта EGEE – объединить национальные, региональные и тематические грид-разработки в единую цельную грид-инфраструктуру для поддержки научных исследований.
• EGEE предоставит исследователям круглосуточный доступ к вычислительным ресурсам независимо от их географического положения. Пользоваться инфраструктурой смогут сообщества исследователей, которые готовы объединить свои собственные вычислительные инфраструктуры и согласны с принципами общего доступа.
• Проект поддерживают, в основном, финансирующие учреждения ЕС, но предназначен он для работы во всём мире. Значительные средства поступают от США, России и других участников проекта, не входящих в ЕС.
Ключевые направления проекта:- формирование согласованной, устойчивой и защищённой вычислительной сети;
- совершенствование программных средств middleware с целью обеспечения надежного обслуживания пользователей;
- привлечение новых пользователей из других сфер деятельности и обеспечение им высокого стандарта обучения и поддержки.
EGEE и другие GRID - проекты
Какое отношение имеет EGEE к существующим гридам и исследовательским сетям?
Инфраструктура EGEE будет построена на исследовательской сети Европейского союза (ЕС) GEANT и в ней будет использован опыт, накопленный в таких проектах, как DataGrid, Datatag, Crossgrid, поддержанных ЕС, в национальных проектах, например, e-Science (Британия), INFN Grid, Nordugrid и американском Trillium. Она обеспечит возможность совместной работы с другими системами во всём мире, включая США и Азию, что будет способствовать установлению всемирной GRID-инфраструктуры.
Функциональность проекта EGEE
• Упрощённый доступ. EGEE уменьшит издержки, связанные с разнообразием не связанных между собой систем учёта пользователей. Пользователи смогут объединяться в виртуальные организации с доступом к grid – инфраструктуре, содержащей нужные каждому пользователю рабочие ресурсы.
• Выполнение вычислений по требованию. Эффективно распределяя ресурсы, grid-технологии значительно сокращает время
ожидания доступа к ним.• Географически распределённый доступ. Инфраструктура будет доступна отовсюду, где обеспечена хороший доступ к сети.
Ресурсы становятся широко доступными.• Исключительно большой объём ресурсов. Благодаря согласованности ресурсов и пользовательских групп, в прикладной
работе в рамках EGEE будут доступны ресурсы таких объёмов, какие не может предоставить ни один компьютерный центр.
• Совместное использование программного обеспечения и данных. Благодаря единой структуре вычислительных средств, в EGEE пользователям будет легко совместно использовать программное обеспечение и базы данных и разрабатывать программное обеспечение.
• Высокий уровень поддержки приложений. Компетентность всех участников EGEE обеспечит тщательную, всестороннюю
поддержку всех основных приложений.
EGEE Partner Federations
11 Federations, 27 Countries, 70 Organizations
EGEE Timeline
EU budget of 32M€ over 2 years • April 2004: start project
EGEE Activities
JRA1: Middleware Engineering and Integration
JRA2: Quality Assurance
JRA3: Security
JRA4: Network Services Development
SA1: Grid Operations, Support and Management
SA2: Network Resource Provision
NA1: Management
NA2: Dissemination and Outreach
NA3: User Training and Education
NA4: Application Identification and Support
NA5: Policy and International Cooperation
24% Joint Research 28% Networking
48% ServicesEmphasis in EGEE is on operating a productiongrid and supporting the end-users
Starts 1st April 2004 for 2 years (1st phase) with EU funding of ~32M€
Distribution of Service Activities over Europe: • Operations Management at CERN; • Core Infrastructure Centres in the UK, France, Italy, Russia (PM12) and at CERN, responsible for managing the overall Grid infrastructure;• Regional Operations Centres, responsible for coordinating regional resources, regional deployment and support of services.
Russia: CIC – SINP MSU, RRC KI, JINR ROC – IHEP, ITEP, PNPI, IMPB RAS Dissemination&Outreach – JINR, KIAM RAS
Distribution of Service Activities over Europe
Federating Worldwide Resources for the LHC
Участие России в проекте EGEE
• В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности.
• Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).
Russian Data Intensive GRID (RDIG) Consortium EGEE Federation
• ИФВЭ (Институт физики высоких энергий, Протвино) – Петухов В.А.
• ИМПБ (Институт математических проблем биологии, Пущино) – Лахно В.Д.
• ИТЭФ (Институт теоретической и экспериментальной физики) – Гаврилов В.Б.
• ОИЯИ (Объединенный институт ядерных исследований, Дубна) – Кореньков В.В.
• ИПМ (Институт прикладной математики) – Корягин Д.А.• ПИЯФ (Петербургский институт ядерной физики, Гатчина) –
Рябов Ю.Ф.• ИАЭ (Институт атомной энергии) – Солдатов А.А.• НИИЯФ МГУ (Научно-исследовательский институт ядерной
физики МГУ) – Ильин В.А.
Russian Contribution to EGEE
RDIG as an operational and functional part of EGEE infrastructure (CIC, ROC, RC).
Activities:
SA1 - European Grid Operations, Support and Management (A.Kryukov, Y.Lazin)
SA2 – Network Resource Provision (V.Dobrecov)
NA2 – Dissemination and Outreach (T.Strizh)
NA3 – User Training and Induction (E.Slabospitskaya)
NA4 - Application Identification and Support (E.Tikhonenko)
ACTIVITIES DEFINITIONS
NA2 - Dissemination and OutreachOperate the dissemination Web site, support mail lists and Web base collaborative
tools, organize presentations, visits, 2 project conferences and showcases per year, publication of dissemination material.
NA3 – User Training and InductionProduce training and course material. Deliver on-site courses and support distributed
courses in the project. NA4 – Application Identification and supportSupport HEP and Bio pilot applications. Identify early users. Introduction of new user
communities. Definition of common application interfaces and tools. Creation of an Industry Forum.
SA1 – European Grid Support, Operation and ManagementCore infrastructure services. Grid monitoring and control. Middleware deployment and
resource induction. Resource and user support. Grid management. SA2 – Network Resource ProvisionDefinition in collaboration with RN Geant and NRENs of SLRs, Modeling, SLSs,
SLAs, Policies.
Портал WWW.EGEE-RDIG.RU
• Для информационной поддержки данного проекта разрабатывается портал www.egee-rdig.ru. Данная система представляет собой комплекс web сайтов и баз данных для создания и поддержки единого информационного пространства в рамках проекта EGEE RDIG. Портал предоставляет возможность разграничения информации по уровню доступа (информационная часть) и систему управления материалами и ролями. В информационной часть предоставляет данные структурированные по
следующим разделам: – мероприятия (встречи, семинары), календарь событий, репозиторий документов, конференции, разделы с описаниями задач организаций, в которых принимает участие Россия
• Система управления материалами и ролями предоставляет возможность управления пользователями, новостями, документами, календарем событий и листами рассылки.
• Пользовательский интерфейс информационной системы представляет собой набор динамических и статических гипертекстовых документов. Часть системы поддерживается авторизированными персонами через специальные интерфейсы.
• Проект реализуется на web сервере Apache 2 с использованием СУБД Oracle и php – Personal Home Page.
Российский региональный центр: the DataGrid cloud
PNPI
IHEP
RRC KI
ITEP
JINR
SINP MSU
RRC-LHC
LCG Tier1/Tier2cloud
CERN
…
Gbits/s
FZK
Regional connectivity:
cloud backbone – Gbit’s/s
to labs – 100–1000 Mbit/s
Collaborative centers
Tier2cluster
GRID access
Useful References:
• GLOBAL GRID FORUM: //www.gridforum.org• European GRID FORUM: //www.egrid.org • PPDG: //www.ppdg.org • IVDGL: //www.ivdgl.org• EU DATAGRID: //www.eu-datagrid.org• DATATAG: //www.datatag.org• GLOBUS: //www.globus.org• GriPhyn: //www.griphyn.org• CrossGRID: //www.crossgrid.org • Condor: //www.cs.wisc.edu/condor • TERAGRID: //www.teragrid.org• EGEE: //www.eu-egee.org• EGEE-RDIG: //www.egee-rdig.ru• LCG: //lcg.web.cern.ch/LCG/