Vývoj (Open Source) GIS (sohledem k INSPIRE)Jachym Cepicky
• [email protected]• http://les-ejk.cz• Help Service - Remote Sensing• http://bnhelp.cz
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Open Source (Free Software) GIS, Standardy, INSPIRE• Software s otevřeným zdrojovým kódem• V závislosti na licenci může kdokoliv zdrojový kód programu studovat, měnit a se změnami
distribuovat dále.• Nejznámější produkty:
• OS GNU/Linux -> OS Android• Mozilla Firefox• Apache HTTPD server• OpenOffice.org• ...
• Standardy jsou zde (nejenom) aby programy mohly spolu snáze komunikovat (EPSG, OGC,ISO, ...)
• Spatial data infrastructure in Europe
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Co vás nemineVývoj (Open Source) GIS (s ohledem k INSPIRE) 1
Open Source (Free Software) GIS, Standardy, INSPIRE 2Jak Jáchym k Open Source přišel 5Help Service - Remote Sensing 6
INSPIRE 9INSPIRE implementační pravidla 11Roadmap 12Přílohy (Annexes) 15
Standardy OGC 25OGC Web Mapping Service 26OGC Web Coverage a OGC Web Feature Service 27OGC Web Processing Service 28OGC Catalogue Service for Web 29
Open Source GIS 30GRASS 32QGIS 36
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
GDAL/OGR, PROJ4 38UMN MapServer 40GeoServer 41PyWPS 42PostGIS 43OpenLayers 44
Open Street Map -- Data jsou potrava pro GIS 45Závěr 52
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Jak Jáchym k Open Source přišel• 1998 - Počátek studia na LF (žádná skripta, příšerný web)• 2000 - Samostudium HTML, vznik stránky Les-ejk.cz• 2001 - Nové webové stránky LF -> za honorář zakoupený první vlastní počítač, instalace Rad
Hat 7.3 s dopomocí, hledání vhodných alternativ (OpenOffice neexistovaly, GIS?)• 2002 - Erasmus na LF v Göttingenu. V počítači nainstalovaný GRASS GIS. Zápis kurzu "Java
Für Förster" (Dr. Jürgen Nagel), zápis kurzu "C Programmierung", práce na diplomové práci,první nesmělé skripty do GRASS GIS (Perl) - GRASS Power User.
• 2004 - Doktorské studium na LDF MZLU, programování modulů pro GRASS• 2006 - Stipendium DBU, půl roku v Hannoveru, zahájeny práce na novém GRASS GUI, PyWPS• 2007 - BKF, Trento, Itálie, vývojář GRASS GIS• 2007 - Zaměstnán u Help Service - Remote Sensing s.r.o. Vývoj webového klienta (JavaScript
- OpenLayers) a některých serverových komponent (PyWPS, tisk, různé proxy - UMNMapServer)
• 2010 - INSPIRE Spatial data services drafting team• 2011 - OSGeo Charter Member
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Help Service - Remote Sensing
• http://bnhelp.cz• Od roku 1993 mapové služby• Založeno na Open Source• Přispívá k vývoji Open Source projektů (PyWPS, OpenLayers, HSLayers, UMN MapServer,
GeoTools, ..)• Součást Českého Centra pro Vědu a Společnost (CCSS)• http://ccss.cz• Evropské projekty (Humboldt, Briseide, Habitats, Plan4all, Plan4Business, ...)• Komerční zakázky (MapLog, Prefarm)• Státní správa a samospráva (Národní geoportál INSPIRE, Trutnov, Liberecký kraj (povodňový
portál))
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Používejte již dnes software, o jehož vývoji začnouostatní zítra uvažovat
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Narážejte již dnes na chyby, o jejichž existenci nemajíostatní ani tušení
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
INSPIRE
• http://inspire.jrc.ec.europa.eu/• http://inspire.gov.cz (CENIA)• Nařízení 2007/2/EC Evropské rady, v platnosti od 15.5.2007.• Infrastructure for Spatial Information in the European Community (INSPIRE)• V ČR zákon č. 380/2009. -> Národní geoportál INSPIRE
• Data mají být sbírána pouze jednou a uložena tam, kde o ně bude pečováno nejefektivněji.(Příklad: katastr)
• Bezešvá kombinace prostorových dat z různých zdrojů v Evropě, a sdílení s dalšími uživateli aaplikacemi. (one geology)
• Informace sesbíraná na jedné úrovni (či v jednom měřítku) musí být kombinovatelná sinformacemi z jiných měřítek
• Geodata potřená pro státní správu musí být transparentně dostupná na všech úrovních• Musí být jednoduché najít data potřebná pro řešení aktuálního úkol.
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Aby EC věděla, kam jdou peníze z dotací
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
INSPIRE implementační pravidla
Aby infrastruktury jednotlivých členských států byly vzájemně kompatibilní a využitelné v rámciSpolečenství, vyžaduje směrnice INSPIRE přijetí implementačních pravidel ("prováděcíchvyhlášek") pro tyto oblasti (od 2010).
• Metadata
• Data o datech• Vyhledávání pomocí INSPIRE View service (OGC CS-W)
• Specifikace dat
• Annexy• Síťové služby• Sdílení dat• Monitoring a reporting• Implementační pravidla jsou vytvářena tzv. drafting týmy (Drafting Team),• Spolu i implementačními pravidly vychází také technické návody (Technical Guidance)
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Roadmap
Datum Popis15-May-2010 Implementation of provisions for monitoring and reporting03-Dec-2010 Metadata available for spatial data sets and services corresponding to
Annex I and II09-May-2011 Member States shall provide the Discovery and View Services with initial
operating capability30-Jun-2011 The EC establishes and runs a geo-portal at Community level19-Oct-2011 Implementation of Regulation as regards the access to spatial data sets and
services of the Member States by Community institutions and bodies underharmonised conditions for new arrangements
09-Nov-2011 Discovery and view services operational28-Jun-2012 Member States shall provide the Download Services with initial
operating capability28-Jun-2012 Member States shall provide the Transformation Services with initial
operating capability
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
23-Nov-2012 Implementation of Commission Regulation (EU) No 1089/2010 of 23November 2010 implementing Directive 2007/2/EC of the EuropeanParliament and of the Council as regards interoperability of spatial data setsand services for Newly collected and extensively restructured Annex I spatialdata sets available
28-Dec-2012 Download services operational28-Dec-2012 Transformation services operational04-Feb-2013 Implementation of Commission Regulation (EU) No 102/2011 of 4 February
2011 amending Regulation (EU) No 1089/2010 implementing Directive2007/2/EC of the European Parliament and of the Council as regardsinteroperability of spatial data sets and services for newly collected andextensively restructured Annex I spatial data sets
19-Apr-2013 Implementation of Regulation as regards the access to spatial data sets andservices of the Member States by Community institutions and bodies underharmonised conditions for existing arrangements 03-Dec-2013 6(b) Metadataavailable for spatial data corresponding to Annex III
October 2015 Newly collected and extensively restructured Annex II and III spatial datasets available
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
23-Nov-2017 Implementation of Commission Regulation (EU) No 1089/2010 of 23November 2010 implementing Directive 2007/2/EC of the EuropeanParliament and of the Council as regards interoperability of spatial data setsand services for other Annex I spatial data sets still in use at the date ofadoption 04-Feb-2018 7§3, 9(a) Implementation of Commission Regulation(EU) No 102/2011 of 4 February 2011 amending Regulation (EU) No1089/2010 implementing Directive 2007/2/EC of the European Parliamentand of the Council as regards interoperability of spatial data sets andservices for other Annex I spatial data sets still in use at the date of adoption
October 2020 Other Annex II and III spatial data sets available in accordance with IRs forAnnex II and III
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Přílohy (Annexes)
Jednotlivé datové specifkace jsou rozděleny do Annexů (Příloh)Annex I, II, III
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Annex I
• Souřadnicové systémy (ETRS 89 (EPSG:3035), WGS 84 (EPSG:4326), ...)• Geografická jména, gazetteery• Administrativní jednotky• Struktura adresních bodů• Katstrální parcely• Transportní sítě• Hydrografie• Chráněná území
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Annex II
• Elevace• Land cover• Letecké snímky• Geologie
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Annex III
• Statistické jednotky• Budovy• Půdy• Land use• Zdraví a bezpečnost• Vybavenost a vládní organizace• Sledování životního prostřední• Podniky a produkce• Zemědelství a vodní hospodářství• Demografie• Regulace a restrikce hospodaření na ploše• Natural risk zones• Atmosférické podmínky
• Meteorologické geografické prvky• Oceánografické prvky• Mořské regiony• Bio-geografické prvky• Biotopy (habitats)• Rozmístění druhů• Energetické zdroje• Minerální zdroje
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Metadata
• Data o datech• ISO 19115, 19119, Dublin core• Národní portály• INSPIRE Geoportál
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Síťové služby INSPIRE
Discovery
• Vyhledávání dat• Na základě metadat• OGC Catalogue Service for Web• ISO 19115 (metadata), 19119 (jejich zápis)
View
• Prohlížení dat• OGC Web Mapping Service (WMS 1.3.0 + několik drobných úprav)
Download
• OGC Web Coverage Service (WCS 1.1.0)• OGC Web Fearure Service (WFS 2.0.0 + GML 3.2)
Transformation
• Transformace mezi souř. systémyInvoke services
• Zavolání analytických služeb (původně OGC WPS)
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Inspire a ČR
• V ČR zákon č. 380/2009. --> Národní geoportál INSPIRE• http://geoportal.gov.cz• Na špičce v Evropě• Datové sady zametadatované• Funkční geoportál• "Běžně" jsou dostupné view (WMS), někdy i download (WFS, WCS) služby• ČUZK - Katastrální data na webu
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
• Nestíhají se jednotlivé specifikace, často se mění Např.implementační pravidla pro transformační služby jsoustále měněna a zdale nejsou dokončená
• Neexistuje software pro požadované verze• Protichůdné specifikace• Překlad (feature - "vzhled jevu")
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Standardy OGC
• OpenGeospatialConsortium (Masarykova Univerzita, HS-RS)• http://opengeospatial.org• Standardizační organizace• Široce akceptované standardy (INSPIRE)• Často ovšem chaos ve vzájemném provázání standardů• Nejúživanější standardy jsou ze skupiny OGC Open Web Services (OGC OWS)
• WMS, WFS, WCS, WPS, SOS, CS-W, ...• GML, KML, GeoRSS, ...• SLD, FES, ...
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
OGC Web Mapping Service
• http://opengeospatial.org/standards/wms• Zobrazení mapového obrázku z dat dostupných na serveru• INSPIRE View Service (1.3.0)• 3 typy žádostí z klienta na server
• GetCapabilities
• Server vrátí svá metadata a seznam dostupných vrstev• http://bnhelp.cz/ows/crtopo?service=WMS&request=GetCapabilities
• GetMap
• Ze zadaných údajů server vygeneruje obrázek a vrátí zpět• http://www.bnhelp.cz/cgi-bin/crtopo?LAYERS=doprava&TRANSPARENT=TRUE&FORMAT=image/png&EXCEPTIONS=application/vnd.ogc.se_inimage&VERSION=1.1.1&STYLES=default&SRS=EPSG:102067&SERVICE=WMS&REQUEST=GetMap&BBOX=-746567.3513092,-1038316.6568311,-744803.46337282,-1037247.7407417&WIDTH=1000&HEIGHT=606
• GetFeatureInfo
• Informace (vektorových) objektech• http://www.bnhelp.cz/cgi-bin/crtopo?LAYERS=obce&TRANSPARENT=TRUE&FORMAT=image/png&EXCEPTIONS=application/vnd.ogc.se_inimage&VERSION=1.1.1&INFO_FORMAT=application/Fvnd.ogc.gml&STYLES=default&SRS=EPSG:102067&SERVICE=WMS&REQUEST=GetFeatureInfo&BBOX=-746567.3513092,-1038316.6568311,-744803.46337282,-1037247.7407417&WIDTH=1000&HEIGHT=606&QUERY_LAYERS=obce&X=512&Y=297
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
OGC Web Coverage a OGC Web Feature Service
• INSPIRE Download Service (1.1.0, 2.0.0)• Web Coverage Service (WCS) -- slouží k distribuci rastrových dat (coverages)
http://opengeospatial.org/standards/wcs• Web Feature Service (WFS) -- slouží k distribuci vektorových dat (feature - vektorový objekt,
ne charakteristický rys) http://opengeospatial.org/standards/wfs
• WFS-T - transkační WFS, lze použít k editaci dat na serveru• GetCapabilities
• http://bnhelp.cz/ows/crwfs?service=wfs&request=getCapabilities• http://bnhelp.cz/ows/uhul?service=wcs&request=getCapabilities
• GetFeature
• http://bnhelp.cz/ows/crwfs?service=wfs&request=getfeature&version=1.0.0&typename=okresy• GetCoverage
• http://bnhelp.cz/ows/uhul?service=wcs&request=getcoverage&version=1.0.0&CRS=epsg:4326&coverage=tm&width=1000&height=1000&format=gtiff
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
OGC Web Processing Service
• OGC WPS popisuje způsob, jak spouštět geo-analýzy na vzdálených serverech• http://opengeospatial.org/standards/wps• Data
• Mohou být poslána spolu se žádostí• Mohou být dostupná na serveru• Součástí žádosti je pouze odkaz (url, link) na data
• Opět 3 zásadní typy žádostí:
• GetCapabilitieshttp://briseide02.ingr.briseide.eu:8080/geoserver/ows?service=wps&request=getcapabilities&version=1.0.0
• DescribeProcesshttp://briseide02.ingr.briseide.eu:8080/geoserver/wps?service=wps&request=describeprocess&version=1.0.0&identifier=gs%3ABufferFeatureCollection
• Execute (častěji XML kódování) viz. http://briseide.ccss.cz
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
OGC Catalogue Service for Web
• INSPIRE Discovery service• http://opengeospatial.org/standards/cat• Práce s metadaty• GetCapabilities - Metadata o serveru• DescribeRecord - Popis schématu záznamů• GetDomain - Informace o rozsahu hodnot záznamů - aby mohl být dotaz formulován co
nejpřesněji.• GetRecords - Vlastní vyhledávání záznamů• GetRecordById - Najít konkrétní záznam• Harvest - Provézt kompletní "kopii" serveru a další dotazy řešit z ní• ...
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Open Source GIS
• Většinu známých projektů zaštituje OSGeo http://osgeo.org• Spolený repozitář s kódem (otevřený pro čtení, vyvolení mají právo zapisovat) -
http://trac.osgeo.org/openlayers/browser/trunk/openlayers/lib/OpenLayers/Layer• Většina komunikace probíhá přes e-maily
• http://lists.osgeo.org/pipermail/grass-dev/2011-December/thread.html• http://lists.osgeo.org/pipermail/grass-user/2011-December/thread.html
• IRC Meetingy - Otevřený rozhodovací proces
• http://irclogs.geoapt.com/osgeo/%23osgeo.2011-11-21.log• FOSS4G konference• Bugtracker
• http://trac.osgeo.org/openlayers/query• Rychlá odezva, komunita uživatelů, lokalizace, ...• Firmy nebízející komerční podporu, školení, ...
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
GRASS
• Geographical resource analysis support system• Vyvíjen od roku 1982 (U.S. Army Construction Engineering Research Laboratories)• http://grass.osgeo.org• Tradičně se ovládá přes příkazovou řádku, nové Python GUI• Rozhraní pro programovací jazyk Python• Skvělá nápověda• Tištěná dokumentace (angličtina, němčina, (čeština))• Všechny hlavní platformy nativně (Linux, Mac OS, MS Windows)• Česká stopa: Radim Blažek, Martin Landa, Jáchym Čepický
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
GRASS - Rastry
• 159 modulů• Interní formát (pomocí r.external možnost registrovat do interní databáze externí rastrový
soubor)• Podpora pro NULL• Integer, Float• voxel (3D rastry)• http://grass.osgeo.org/grass64/manuals/html64_user/raster.html
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
GRASS - Vektory
• 110 modulů• Interní formát (pomocí v.external možnost registrovat do interní databáze externí vektorový
soubor)• Topologie (ne 3D)• 3D vektory• Atributy mohou být uloženy v externí databázi• http://grass.osgeo.org/grass64/manuals/html64_user/vector.html
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Obrázky
• Rastry• Vektory• 3D
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
QGIS
• Mladší než GRASS• Původně vizuelně podobný ArcView (3.2)• Může sloužit jako GRASS GUI (umí zobrazovat GRASS data, spouštět moduly)• Všechny hlavní platformy• Webové služby OGC (WMS, WFS, WCS)• On-the-fly transformace (rastry, vektory)• QGIS-Server (mapový server)• http://qgis.org• Česká stopa: Martin Landa (Martin Dobiáš - SK)
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Obrázkyhttp://qgis.org/about-qgis/screenshots.html
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
GDAL/OGR, PROJ4• Zásadní knihovny pro většinu GIS balíků, rozhraní k programovacím jazykům (C, C++,
Python, PHP, Java, ...)• GDAL
• stará se o převod mezi rastrovými formáty• tvorba pyramid• ...• http://gdal.org/
• OGR
• stará se o převod mezi vektorovými formáty• http://gdal.org/ogr
• Proj4
• souřadnicové transformace• http://proj.osgeo.org
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
GDAL/OGR, Proj4: Příklady použití# transformace souřadnicovágdalwarp -t_srs '+proj=utm +zone=11 +datum=WGS84' raw_spot.tif utm11.tif
# definiční soubor WMC do TIFFgdalwarp wcs.xml out.tiff
# převod z PostGIS databáze do ESRI Shapefileogr2ogr -f "ESRI Shapefile" mydata.shp PG:"host=myhost user=myloginname dbname=mydbname password=mypassword" "mytable"
# převod mezi souř. systémyecho "15 50"|cs2cs +init=epsg:4326 +to +init=epsg:102067 -703011.90 -1058147.16 -43.19
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
UMN MapServer• http://mapserver.org• Nejpoužívanější OS GIS Software• Nejrychlejší OS Software při vybavování OGC WMS (Denver 2011, WMS Shootout)• Podpora standardů OGC (WMS, WCS, WFS, GML, SLD, ...)• Rozhraní k programovacím jazykům (PHP, Python, Perl, Java, ...)• Konfigurace pomocí konfiguračního souboru• Nejpokročilejší software na implementaci INSPIRE
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
GeoServer• http://geoserver.org• Java, GeoTools• Grafická konfigurace• Standardy OGC (+ WPS)
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
PyWPS• http://pywps.wald.intevation.org• Implementace OGC WPS na straně serveru• Python• Jedna z nejstarších implementací
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
PostGIS• http://postgis.org• Rozšíření databáze PostgreSQL pro prostorová data (původně vektory, nyní i rastry)• Pomocí SQL příkazů lze pracovat s geometriemi a atributy
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
OpenLayers• http://openlayers.org• JavaScript• Podpora pro OGC OWS (WMS), komerční vrstvy (Google, Yahoo, ...)• Vektorové vrstvy, editace (GML, WFS, GeoRSS, GPX, ...)• Transformace, snapping, ...• HSLayers
• Nadstavba nad OpenLayers a ExtJS• Národní geoportál http://geoportal.gov.cz
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Open Street Map -- Data jsou potrava pro GIS
"Software is not a problem. Problem is data"-- Markus Neteler
• http://openstreetmap.org• Tvorba a distribuce svobodných geodat• Dokumentovaný formát• Každý den tisíce aktualizací• Zvládnutý systém walking papers• Data vznikají na základě dat z GPS nebo digitalizací na podkladem (katastrální mapa, letecký
snímek)
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]
Závěr• Nebojte se g#, mapy jsou zábava• INSPIRE je tu pro vás, přes problémy, které přináší• Open Source GIS je tu pro vás, zdarma, legálně s funkcemi a podporou• Data jsou tu pro vás, stáhněte, používejte, upravujte, spolupracujte• Programátoři jsou jenom lidi: dělají chyby, jsou unavení, nestíhají, ale myslí to s vámi dobře
Open Source GIS (s ohledem k INSPIRE)
Jachym Cepicky, [email protected]