+ All Categories
Home > Documents > Global Monitoring Plan Data Warehouse · This training document describes in detail the tools...

Global Monitoring Plan Data Warehouse · This training document describes in detail the tools...

Date post: 23-Aug-2020
Category:
Upload: others
View: 0 times
Download: 0 times
Share this document with a friend
27
Tools in the Global Monitoring Plan Data Warehouse version 3 September 2015 Stockholm Convention Regional Centre in the Czech Republic and Research Centre for Toxic Compounds in the Environment Masaryk University, Brno, Czech Republic RECETOX Report no. 531
Transcript
Page 1: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

 

 

 

 

Tools in the Global Monitoring Plan Data Warehouse 

 

version 3 

September 2015 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Stockholm Convention Regional Centre in the Czech Republic and 

Research Centre for Toxic Compounds in the Environment 

Masaryk University, Brno, Czech Republic 

RECETOX Report no. 531

Page 2: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

 

 

 

Tools in the Global Monitoring Plan Data Warehouse 

version 3 

 

Šebková K., Gregor J., Borůvková J., Kalina J., Klánová J. 

 

 

 

 

 

Research Centre for Toxic Compounds in the Environment 

and Stockholm Convention Regional Centre in the Czech Republic 

Masaryk University, Brno, Czech Republic 

September 2015 

RECETOX Report no. 531 

 

 

 

 

 

Citation: 

Hůlek, R., Borůvková,  J., Gregor,  J., Šebková, K., Kalina,  J., Bednářová, Z., Melkes, O., Šalko, M., 

Novák,  R.,  Jarkovský,  J.,  Dušek,  L.,  Klánová,  J.:  Tools  in  the  Global  Monitoring  Plan  Data 

Warehouse,  training material,  version  3,  Stockholm  Convention  Regional  Centre  in  the  Czech 

Republic,  Research  Centre  for  Toxic  Compounds  in  the  Environment  (RECETOX),  Masaryk 

University, Brno, Czech Republic, RECETOX report no. 531, September 2015, 26 pages. 

Page 3: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

Contents 

Acknowledgements .............................................................................................................................. 2

Abbreviations ....................................................................................................................................... 3

Introduction ......................................................................................................................................... 5

What is Global Monitoring Plan Data Warehouse? ......................................................................... 5

GMP DWH structure and arrangements .............................................................................................. 6

GMP DWH arrangements................................................................................................................. 6

Data Repository .................................................................................................................................... 8

Data import(for storage and archiving) ........................................................................................... 8

Track changes ................................................................................................................................. 11

Completeness check ...................................................................................................................... 11

Tools for data validation and approval .......................................................................................... 11

Data Visualization............................................................................................................................... 15

Tools for GMP Data Visualization .................................................................................................. 15

Spatial Distribution ........................................................................................................................ 15

Data Availability ............................................................................................................................. 17

Summary Statistics ......................................................................................................................... 18

Time Series ..................................................................................................................................... 19

Data Exports ................................................................................................................................... 22

Other tools ......................................................................................................................................... 24

User Administration ....................................................................................................................... 24

Security ........................................................................................................................................... 24

Access ............................................................................................................................................. 25

Help desk ........................................................................................................................................ 26

 

Acknowledgements 

Authors  of  this  document  would  like  to  acknowledge  support  in  preparation  of  this  training 

material by the Small Grant Project provided  for by  the Secretariat of  the Basel, Rotterdam and 

Stockholm  Conventions  as  well  as  the  contribution  of  the  RECETOX  research  infrastructure 

through  its GENASIS  core  unit whose  expertise  is  supported  by  the  projects  of  the Ministry of 

Education, Youth and Sports of the Czech Republic (LM2011028) and (LO1214). 

Page 4: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

Abbreviations 

AMAP    Arctic Monitoring and Assessment Programme 

COP    Conference of the Parties (to a Convention) 

DDD    Metabolite of DDT 

DDE    Metabolite of DDT 

DDT    Dichlorodiphenyltrichloroethane 

dl‐PCB    Dioxin‐like PCBs 

ECD    Electron capture detector 

EMEP  Co‐operative Programme for Monitoring and Evaluation of the Long‐Range 

Transmission of Air Pollutants in Europe 

EPA    Environmental Protection Agency 

FAO    Food and Agriculture Organization of the United Nations 

GAPS     Global Atmospheric Passive Sampling Survey 

GC     Gas chromatography  

GCG    Global Coordination Group for the Global Monitoring Plan 

GEF    Global Environment Facility 

GENASIS  Global Environmental Assessment Information System 

GMP    Global Monitoring Plan 

GMP DWH  Global Monitoring Plan Data Warehouse  

HBB    Hexabromobiphenyl 

HCB    Hexachlorobenzene 

HCHs    Hexachlorocyclohexanes 

HPLC    High performance liquid chromatography  

HRMS    High resolution mass spectrometer 

LOD    Limit of detection 

LOQ    Limit of quantification 

LRMS    Low resolution mass spectrometer 

LRTAP    Long Range Transboundary Air Pollution Convention (UNECE) 

MS    Mass selective detector  

ND     Not detected  

NGOs    Non‐governmental organizations 

Page 5: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

OC    Organochlorine 

OCP    Organochlorine pesticide 

PBDEs    Polybrominated diphenyl ethers 

PCB    Polychlorinated biphenyls  

PCDD    Polychlorinated dibenzo‐p‐dioxins 

PCDF    Polychlorinated dibenzofurans 

PCP     Pentachlorophenol  

PFOS     Perfluorooctane sulfonate  

POPs    Persistent organic pollutants 

PUF    Polyurethane foam 

QA/QC   Quality assurance and quality control regimes  

RECETOX   Research Centre for Toxic Compounds in the Environment 

ROGs    Regional organization groups for the Global Monitoring Plan 

SOP    Standard operating procedure 

TEF    Toxic equivalency factor 

TEQ    Toxicity equivalents 

UNECE   United Nations Economic Commission for Europe 

UNEP    United Nations Environment Programme 

WHO    World Health Organization 

XAD    Styrene/divinylbenzene‐co‐polymer resin 

   

Page 6: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

Introduction 

This training document describes in detail the tools available in the online Global Monitoring Plan 

Data Warehouse. This document is a second of the set of four materials prepared to support use 

of  the  electronic  tool.  This  document  covers  a  whole  range  of  tools  available  in  the  Global 

Monitoring Plan Data Warehouse  in  its  three sections  ‐ data repository, data visualization and a 

core layer.  

The document is also closely linked to other training documents ‐ to the one on Global Monitoring 

Plan  Data  Warehouse  (GMP  DWH)  Overview  that  explains  the  necessary  background  to  any 

stakeholder in relation to the development of and implementation of the Global Monitoring Plan 

and two practical materials “user guide document for data providers” and “user guide for decision 

makers” who show users through typical tasks and how to work with tools provided  in the GMP 

DWH. 

Further,  the authors would  like  to bring attention  to additional short complementary material – 

Tools  in the GMP DWH Factsheet  ‐ showing the key  information  in a handy two page document 

covering data repository and data visualization. 

What is Global Monitoring Plan Data Warehouse? 

Global Monitoring Plan for Persistent Organic Pollutants (POPs) under the Stockholm Convention 

(GMP DWH) is an online tool developed for handling, storage, approval and visualization of POPs 

monitoring data generated  in  the  frame of  the Global Monitoring Plan  (GMP) worldwide on  the 

basis of the decision by the COP SC‐6/23. The tool comprises two main parts ‐ data repository and 

visualization  portal  ‐  and  is  available  on  www.pops‐gmp.org.  In  addition,  tools  for  statistical 

processing and analyses as well as presentation modules and export tools are available to users. 

Access  to GMP DWH  is only available online via  Internet on www.pops‐gmp.org. Standard web 

browsers are to be used (Internet Explorer, Mozilla Firefox, Google Chrome) and their most recent 

versions are recommended. 

 

   

Page 7: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

GMP DWH structure and arrangements  

The Global Monitoring Plan Data Warehouse is composed of three layers that hold relevant tools:  

Data layer for data import, online data collection, data standards (code lists) and archiving;  

Core layer for data management, validation, recoding, transformation, and background for 

data services (GIS, analytical and statistical tools, data processing, workflow);  

Presentation layer for visualization, presentation tools and web services. 

 

Figure 1 – Scheme of the GMP DWH layers 

The data  layer  thus encompasses  tools  for data  import,  storage  and processing  (compiling  and 

archiving) of both primary data as well as aggregated data as a part of Data Repository. The core 

layer  of  the  data  warehouse  contains  tools  for  data  access  management,  validation,  system 

security,  workflow  management  and  statistical  and  analytical  tools  (in  relation  to  system 

architecture and software solution) ‐ as shown in Core layer tools. 

Finally,  tools  in  a  Data  visualization  serve  to  create  outputs  ‐  such  as  data  selection,  spatial 

distribution of data in map, data availability over time and per collected chemicals, statistical tools 

and explanation about mathematical tools applied, and time series analyses  including trends and 

creation of  country/regional overviews.  In addition,  core  layer also  contains administration and 

management of users and workflow. 

GMP DWH arrangements 

The electronic GMP DWH  is a  fully  standardized  system based on hierarchical  structure of data 

fields,  standardized  parameters with  predefined  content  (code  lists)  in  all  ontology  dimensions 

necessary  for  future data processing  (values, units, measurement method,  LOQs, description of 

Page 8: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

data  aggregation,  etc.).  The  scope  of  the  data  collection  system  is  adjusted  to  data  from 

monitored environmental matrices (ambient air, human milk, human blood, and water) and data 

for each individual matrix are collected separately in GMP data collection branches.  

All four data collection branches contain three common key items in relation to data: 

Site 

Sampling attributes 

Measurement 

While  the key data  structure  remains  identical  for each branch,  range and content of each key 

item differ slightly depending on a branch/  individual matrix. More details on the data structure 

are provided  in the document “User Guide on Global Monitoring Plan Data Warehouse  for Data 

Providers and Users”1. 

   

                                                       1 Šebková, K., Gregor, J., Hůlek, R., Borůvková, J., Kalina, J., Šalko, M., Novák, R., Klánová, J..: User Guide on Global Monitoring Plan Data Warehouse for Data Providers and Users, training material, version 3, Stockholm Convention Regional Centre in the Czech Republic, Research Centre for Toxic Compounds in the Environment (RECETOX), Masaryk University, Brno, Czech Republic, RECETOX report No. 532, September 2015 

Page 9: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

Data Repository 

The system for electronic collection2 of data on POPs from environmental monitoring programmes 

is  built  on  TrialDB,  an  online web‐based  information  system with  a  central  data  repository  to 

acquire  relevant  data.  The  TrialDB  architecture  allows  for  online  data  management  and 

participation of multiple touch‐points collecting primary data. 

This  part  of  the  training  document  describes  tools  in Data  Repository  (data  layer)  of  the GMP 

DWH. The tools are for data import, validation and approval as shown below. All tools must be in 

agreement with other foundations of the GMP DWH and that is system layers, data structure and 

information flow as described further. 

Data import (for storage and archiving) 

The GMP DWH  can  collect  and  archive both primary  and  aggregated POPs  concentration data, 

however  it  is to be noted that all  information displayed  in the Data visualization are only YEARLY 

aggregated values in order to keep comparability among datasets. It is also important to know that 

access  to  the data  import  tool  is only granted  to  selected authorized users and user groups as 

shown in Figure 7. 

The GMP DWH allows (1) direct  input of data (manually) as well as semi‐automatic or automatic 

(2) import/transfer of information from existing databases; 

Sequence of steps for manual input of data is shown in detail the document “User Guide on Global 

Monitoring  Plan  Data Warehouse  for  Data  Providers  and  Users”.  Figure  2  shows  interface  for 

entering yearly aggregated concentration values manually. 

Semi‐automatic  or  input/import  of  primary  or  aggregated  data  to  GMP  DWH  takes  place  via 

available online  forms  ‐  spreadsheets  (see  Figure  3) on  the www.pops‐gmp.org website.  These 

forms are organized per matrix; all  imports are also performed  in a single data collection branch 

/matrix. 

Import  of  data  sets  contained  in  the  spreadsheets  is  usually  performed  by  the  GMP  DWH 

supporting  team  on  the  basis  of  request  of  a  data  provider  or  members  of  the  Regional 

Organization  Group  under  the  GMP  (ROG).  The  relevant  spreadsheets  are  in  general 

prepared/filled in by data providers or, upon instruction of a ROG, the GMP DWH managers may 

extract  data  from  public  online  database  and  import  information  into  the GMP DWH  by  semi‐

automatic interface. 

It is very important that all data sources and sets for import must be identified by a ROG member 

who instructs GMP DWH administrator by e‐mail or contacts GMP DWH help desk. 

                                                       2 collection here does not mean “monitoring” or “sampling”, but rather a broader meaning for data management ‐ import, storage, archiving and processing in a way that any imported value is easily attributable, located and presentable in a fully standardized and harmonized way. 

Page 10: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

 

Figure 2 – Communication  interface  for manual  input of aggregated data  (concentration values) 

into GMP DWH, data import tool 

 

Figure  3  –  Spreadsheets  for  semi‐automatic  transfer  of  data  to  GMP  DWH  are  available  for 

download on the website (see the orange rectangle) 

The data  import  tool also allows  for viewing and editing of  the existing data  sets  (see Figure 4) 

records as well as adding new ones (see Figure 5).  

Page 11: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

10 

 

Figure  4  –  Communication window  for  viewing  and  editing  of  the  existing  data  sets  in  the  air 

matrix in the GMP DWH Data repository 

 

Figure 5 – Communication window for adding new data set/site to the GMP DWH Data Repository 

of the for air matrix 

The  only way  how  to  see  concentration  values  of  information  stored  in  GMP  DWH  and  their 

statistical analysis or spatial distribution is to use the Data Visualization. 

Page 12: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

11 

Other  tools  available  in  the  data  layer  of  the  GMP  DWH  are  not  necessarily  visible  to  users, 

however they make sure that any GMP DWH users find relevant records when requesting search, 

applying  a  filter,  or  sorting  information  by  applying  various  criteria.  In  addition,  these  tools 

undertake comparison with code lists and flag/mark data according to information from the data 

structure, status and hierarchical section of metadata. 

Track changes 

Tracking  changes  is  a  tool  in  the  data  repository  layer which  enables  users  tracking  history  of 

changes made  in a particular data  record. This  tool  facilitates  communication and  contact with 

data providers in case of observed discrepancies in data records during the verification/validation 

of data by the DWH manager. 

Completeness check 

The completeness check is a tool in the core layer of the GMP DWH which identifies data records 

that do not fulfil criteria for a completed record (all obligatory items in the data set record contain 

a value). A record  is  identified on the basis of a missing obligatory value.  It  is available  for Sites 

(e.g., missing characteristics, coordinates) and Measurements (e.g., missing values, methods…). A 

standardized table report is displayed after each data validation process. 

Tools for data validation and approval 

This part of  the  training document explains embedded concepts of user groups,  their hierarchy 

and data workflow that defines a sequence for data validation as described below. 

All  data  reported  within  each  GMP  data  collection  round  (every  six  years)  are  subject  to  a 

standardized predefined workflow  as  shown  in  Figure 6  from  top  to bottom.  Firstly, data  from 

POPs  monitoring  activities  are  prepared  and  inserted  by  their  data  providers  (monitoring 

programmes and institutions) via assigned data managers at the institution. Once the information 

is  imported  to  the GMP  DWH,  a  DWH manager  from  the GMP  DWH  supporting  team  checks 

imported data sets  for  formal and  factual correctness  (second row  in  the data  flow  in Figure 6). 

Validated data from this stage are then provided to a relevant Regional Organization Group (ROG) 

in  line with  the  geographical  coordinates of  the data.  Finally, once  the  relevant ROG  approves 

quality of data,  they are  further  submitted  to  the Global Coordination Group  for  the use  in  the 

global GMP report where appropriate. 

In conclusion, in line with the data workflow shown in Figure 6, each specific user defined by user 

hierarchy is requested to consider and attribute a particular data status to a considered data set. 

This consideration may lead to approval and move to the next stage of the workflow or rejection 

of information and return to a previous stage, or eventually to a deletion of a data set as shown by 

options  in Figure 8. The data consideration (validation) takes place  individually (per each record) 

as shown in Figure 9, or can be also sped by requesting a batch status change by a relevant user. 

Batch status change is performed by the GMP DWH supporting team through core layer tools. 

 

Page 13: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

12 

 

Figure 6 – Data flow within the GMP DWH 

Naturally, such data flow also requires arrangements for a hierarchy of users and user groups as 

shown  in Figure 7. As mentioned earlier  in  the Data  import  tool,  the access  to  that  tool  is only 

granted to selected authorized users and user groups as they are defined by User administration 

tool (see in the part Other tools) as follows: 

Data providers – members of the institutions that provide the POP data; 

GMP DWH management team and help desk – system administrators responsible for 

formal data validation and correctness, management of user accounts; 

Members of the Regional Organization Groups (ROG) and Global Coordination Group (GCG) 

– representatives of five UN regions responsible for data approval and use in regional 

monitoring reports; 

Consultants – environmental experts that assist the ROG and GCG members in data 

assessment and compilation of monitoring reports; 

Other authorized users (e.g., Secretariat of the Stockholm Convention, BRS secretariat). 

Please note that data providers and consultants are identified and nominated by individual ROGs 

and subsequently provided with access to the data collection system by the DWH help desk. 

Page 14: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

13 

 

Figure 7 – User groups in the GMP DWH and their hierarchy, in particular for the data import and 

data validation 

Data Management Workflow State  Assigned system role  Type 

Inserted  Data Manager Assistant  Pending state 

Completed  Data Manager Assistant  Decision state 

Accepted for supervision  Data Manager  Pending state 

Rejected from Supervision  Data Manager  Return back state 

Supervised  Data Manager  Decision state 

Accepted for validation  DWH Manager  Pending state 

Rejected from validation  DWH Manager  Return back state 

Validated  DWH Manager  Decision state 

Accepted for approval  ROG Member  Pending state 

Rejected from approval  ROG Member  Return back state 

Rejected  ROG Member  Decision state 

Approved  ROG Member  Decision state 

Approval communicated  GCG Head  Decision state 

Figure 8 – Statuses of data for different users  in the GMP DWH and their hierarchy (bottom  is at 

the top of the figure) for the data validation 

Page 15: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

14 

 

Figure 9 – Communication window  for change of data status by a data provider upon  import of 

data and their validation in the first stage of the workflow shown in Figure 6 

 

 

Page 16: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

15 

Data Visualization 

Tools for GMP Data Visualization 

This  chapter  briefly  describes  the  following  visualization  tools  embedded  in  the  GMP  data 

warehouse: 

Spatial Distribution (monitoring overview in the map) 

Data Availability (sampling frequency ‐ compounds and sampling frequency ‐ years) 

Summary Statistics (inspects measured concentrations) 

Time Series Analysis (allows multiple site map overview through a trend map, time series 

availability or individual analysis of a single time series in a chart) 

Data Exports (downloads of data, summary tables or charts in various formats) 

Spatial Distribution 

Spatial distribution tool is for displaying all sampling sites around the world in the GMP DWH in a 

map  and  allows  for  a  selection of  fewer  sites  for  subsequent  analyses  (data  selection  filter)  as 

shown  in Figure 10. The map can be scaled down or up by using the zooming tool. The sampling 

sites  in the map are classified  (stratified)  ‐ as shown  in settings and  legend  ‐ by site type  (polar, 

remote,  rural,  sub‐urban,  urban,  and  not  classified)  provided  in  Figure  11  or  by  UN  region 

(different colours for each UN region) as shown in Figure 10. 

 

Figure 10 – Spatial Distribution tool – sampling sites around the world, stratified by UN regions 

In addition, the spatial distribution map is interlinked with the data selection module and displays 

only  those  sampling  sites  included  in  the  selection. The module  comprises  the  following  items: 

Page 17: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

16 

matrix, matrix specification, UN  regional group, country, site  type,  time  range, data status, data 

provider, compound‐chemical. 

 

Figure 11 ‐ GMP sampling sites in Spatial Distribution tool, stratified by site type 

 

Figure 12 – Site detail shown for Fruska Gora in a spatial distribution tool 

In addition  to  the displayed general geographical  coverage of monitoring activities as  shown  in 

Figures 10 and 11, the user can also choose a site (by clicking on it) and the right part of the screen 

then displays a site detail see Figure 12. Furthermore, the user can also choose a particular point 

Page 18: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

17 

in  time  (on  the  left  side of  the Figure 12);  then  the user gets  the data  coverage  for a  selected 

matrix in a specified time point/interval. 

Data Availability 

This tool provides two views of data in a selected data set as shown in Figures 13 and 14.  

Available  Data  –  Parameters  shows  frequency  of  individual  chemical  parameters  (congeners, 

isomers). The chart shows compounds on x‐axis, sampling sites/countries on y‐axis. The more data 

are available on a site for an individual parameter, the larger and darker the symbol appears in the 

chart. All symbols are clickable. The user then obtains a summary table for relevant point (shown 

in dark rectangle on a figure below). The data are downloadable (e.g. as PDF or PNG), a legend can 

be also downloaded (blue button download legend on right side of the screen) as well as data set 

summary (download button is below the chart, not seen on this screen in Figure 13). 

 

Figure 13 – Occurrence of individual chemical parameters (congeners, isomers) on a selected set of 

sampling  sites.  Selected  point  in  time  shows  more  details  –  dark  rectangle  (source: 

http://www.pops‐gmp.org/visualization‐2014) 

The size and colour of the point correspond to the quantity of years and occurrence of parameter 

in a matrix on that sampling site. The more data are available on a site for a parameter, the larger 

and darker the symbol appears. Hover the mouse over a point to see its summary table. 

Please note that both the colour and size of the circle depend on the current data selection (i.e. 

the same colour can correspond to a different number of samples upon selection of another set of 

sites or parameters). 

 

Page 19: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

18 

The other view in this tool: Available Data – Time shows availability of data over time for a given 

site in charts. Each point (rectangle) represents a unique combination of a number of parameters 

(x axis) and sampling site‐year (y axis).  

Green rectangles represent samples  in years within the selected sampling period. The more data 

are available, the  larger and darker the rectangle appears. The chart  is downloadable (as PDF or 

PNG), as well as legend and data set summary. All rectangles are clickable. The user then obtains a 

summary table for relevant point as shown in a dark rectangle below. 

Please note that the colour of a rectangle describes current data selection  (please note that the 

same colour can correspond to a different number of parameters upon selection of another set of 

sites, years and other variables etc.). 

 

Figure  14  –  Availability  of  data  over  time  for  a  given  site  on  a  selected  set  of  sampling  sites. 

Selected  point  in  time  (by  clicking  on  it)  shows  more  details  ‐  in  particular  the  number  of 

parameters  available  on  this  site  in  the  dark  rectangle  (source:  http://www.pops‐

gmp.org/visualization‐2014) 

Summary Statistics 

Summary  Statistics  Tool  presents  interval  of measured  concentrations  for  one  compound  in  a 

given  matrix  and  site  in  individual  year.  The  user  selects  combination  of  matrix,  compound, 

parameter, and unit to view relevant concentrations as shown below in Figure 15. 

Page 20: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

19 

 

Figure 15 – Summary Statistics tool communication interface where the user selects combination of 

matrix,  compound,  parameter,  and  unit  (in  the  middle  of  the  screen)  to  view  relevant 

concentrations  for  a  given  site  on  a  selected  set  of  sampling  sites  (source:  http://www.pops‐

gmp.org/visualization‐2014) 

Upon  selection  in  Figure  15,  the  chart  shown  in  Figure  16  presents  interval  of  measured 

concentrations  for a  compound  in a given matrix  in  individual year. The horizontal box‐whisker 

chart  shows  a  central point  (median, mean,  geometric mean)  and  its  variability  (minimum  and 

maximum,  standard deviations, percentiles)  for a  set of  sampling  sites  in  individual years or  for 

each sampling site in a given year on selected set of sites and time interval. Please note that this 

chart can also be created for a single site  

Hovering  a mouse  over  a  box‐whisker  line  shows  additional  information  related  to  displayed 

concentration (dark box) as shown in Figure 16. 

Time Series 

Time Series menu offers three views: Multiple sites Trend Map, shows the summary development 

in  the  selected area  (single  compound and  selected matrix); Time  series Analysis provides  time 

trend on individual site for selected compound and matrix; and Time Series Bar Chart Map shows 

concentration changes in bar charts for multiple sites in a map. 

Trend Map 

This map  in Figure 17 shows a summary development of POPs concentrations per compound  in 

the selected data set and area in the map. Both the map and legend are downloadable. The circles 

in the map show a trend over time ‐ green colour  is statistically significant decreasing trend, red 

colour is statistically significant increasing trend, blue is a trend that is statistically insignificant and 

grey circles represent sites with no trend. Usually because the monitoring on this site has already 

been discontinued. 

 

Page 21: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

20 

 

Figure  16  –  The  horizontal  box‐whisker  chart  shows  a  central  point  (median, mean,  geometric 

mean) and its variability (minimum and maximum, standard deviations, percentiles) as defined by 

the legend – here it is median and 5/95 percentile – for a set of sampling sites in individual years 

 

Figure 17 – Trend map shows a summary development of POPs concentrations per compound  in 

the selected data set and area in the map 

Page 22: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

21 

Time Series Analysis 

Time Series Analysis provides results of concentration changes for individual compound in selected 

matrix and selected site over time. 

To display the trend  in the chart, the user needs to select “exponential”  in Settings, Trend Type 

item.  If a p‐value of employed tests displayed  in Trend Description  is  lower than 0.05, a trend  is 

observed in this time series. Should p‐value be higher than 0.05, observed trend is not statistically 

significant and its further display is not recommended. Chart, legend, raw data as well as summary 

are downloadable (blue buttons on the screen in Figure 18). 

 

Figure 18 – Time Series Analysis provides results of concentration changes for individual compound 

in selected matrix and selected site over time 

Time Series Bar Charts Map 

This map shows a summary development of POPs concentrations per compound  in the selected 

data set and area in the map. 

Map, legend, raw data and summary are downloadable. 

Page 23: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

22 

 

Figure 19 – Time Series Bar Charts Map shows a summary development of POPs concentrations per 

compound  in  the  selected  data  set  and  area  in  the  map  (source:  http://www.pops‐

gmp.org/visualization‐2014) 

Data Exports 

This  tool  exports  several  sets  of  summary  information  related  to  selected  data  for  sites, 

monitoring programmes, and analytical methods used/employed in the selection.  

In  addition,  export  of  all  data  in  the  selection defined by user  is  also  available  in  .CSV  format  

(comma separated values) to allow for further work on the data set by the user (i.e. by using other 

tools, software etc.). 

Sites Summary 

The  table  provides  a  summary  overview  of  sites  used  in  the  selected  data  set.  It  contains 

information on individual sites (coordinates and site type), shows data availability for the selected 

set (UN region and country) in each line and identifies data sources (Data Provider). 

User  can  search data  in  the  table by using  search box as well as  sort  columns by  clicking on a 

column heading. Table can be exported to .XLS format by the blue button in the top right corner of 

the screen. 

Data Sources Summary 

The table provides a summary overview of data sources used  in selected data set. It shows data 

availability (First Year and Last Year) in the GMP Data Warehouse, number of available compounds 

therein and number of sites for each monitoring programme and matrix in the selected data set. 

Page 24: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

23 

User  can  search  data  in  the  table  by  using  input  box  as well  as  sort  columns  by  clicking  on  a 

column heading. Table can be exported to .XLS format by the blue button in the top right corner of 

the screen.         

Analytical Methods Summary 

The table provides a summary overview of analytical methods used in selected data set. It contains 

information  relevant  for  individual  compounds. Additional  information  in each  line  is  related  to 

data availability  in  the GMP Data Warehouse  for  the selected set  (First Year and Last Year) and 

identifies a data source (Monitoring Programme). 

Please note  that "not classified"  for  the analytical method means  that more  than one analytical 

method was employed during a calendar year. 

User  can  search  data  in  the  table  by  using  input  box  as well  as  sort  columns  by  clicking  on  a 

column heading. Table can be exported to XLS format by the blue button in the top right corner of 

the screen. 

 

   

Page 25: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

24 

Other tools 

This  section  enlists  tools  that  for  internal  operation  of  the  GMP  data  warehouse  (such  as 

administration of user  rights and user accounts, data  flow operations) or  these  that govern  the 

access, help desk and other tools. 

User Administration  

For data repository and core layer of GMP DWH, there is a system of user accounts and layers of 

different user rights that correspond to hierarchy of users and data flow and appropriate access in 

a particular point of time/data flow. It  is managed by User Administration tool operated by GMP 

DWH supporting team. 

All (authorized) GMP DWH users can be assigned various levels of authorization so that they have 

access to all or selected functions or parts of the system. This is particularly important for complex 

systems such as electronic tool for the implementation of the GMP and effectiveness evaluation of 

the Stockholm Convention including GMP data collection/storage, where control of users need to 

take place in both, the horizontal structure (different countries and UN regional groups), and the 

vertical hierarchy of users (data providers, data managers, ROGs members, GCG members). 

An encryption protocol  is used  for data  transfer between  the user and  the  central database  to 

prevent  tapping  the  communication  between  the  client  and  server  (for  example,  tapping  user 

login and password). For this reason, any communication between the client and server is realized 

via the secure protocol HTTPS, using the SSL (Secure Socket Layer) encryption. 

In  addition,  automatic  log‐off  takes  place  after  a  predefined  period  of  user's  inactivity  (20 

minutes). This  function  is aimed  to prevent a misuse of an unoccupied  computer  connected  to 

GMP DWH if an authorized user forgets to log out. 

All development and implementation steps are guaranteed by ISO certificates: 

EN ISO 9001:2010 (Quality Management Systems) 

ISO/IEC 20000‐1:2012 (IT Service Management) 

ISO/IEC 27001:2006 (Information Security Management Systems) 

Security 

Large databases must be secured both physically (materials used, location, safeguards against loss 

of material) as well as by software tools (restricted use, pool of authorized users etc.). In the case 

of the GMP DWH rights of data owners as well as the need to back up any  information collected 

are applied. 

The tool is composed of two parts – physical security and “access tool”. 

Physical security 

High  quality  servers with  hardware  encryption  of  disc  array  are  used.  Servers  are  operated  in 

internal IBA/RECETOX data centre in the Masaryk University network with a multilevel security: 

Page 26: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

25 

Network traffic monitoring 

Firewall of IBA/RECETOX subnet and dedicated firewalls on each server 

Servers are placed in a separated subnet dedicated only for server traffic 

Server operating system is updated on regular basis 

Physical access to data centre is strictly limited to authorized personnel only 

Data centre is under a nonstop camera monitoring, access is possible only via electronic 

cards and the building has its own physical security (guards at the entrance) 

In  addition,  GMP  servers  are  equipped  with  a  backup  power  supply  and  there  is  specialized 

operating mode  in  case  of  fire  or  accident.  Additional measures  have  been  taken  to  prevent 

potential  data  loss  or  damage  in  case  of  unexpected  events, which  are  not  directly  related  to 

information  technology.  These measures  involve  fire‐stop  system,  air‐conditioned  server  rooms 

etc.  Finally,  both  the  system  configuration  and  data  stored  are  subject  to  a  regular  backup 

procedure (daily). Therefore, even in the unlikely case of the system breakdown, the entire system 

can be promptly restored including data. 

Access 

As requested in consultations by the Stockholm Convention secretariat and experts and members 

of  the  ROG  and  GMP,  the  portal  pops‐gmp.org  is  accessible  from  anywhere  with  internet 

connection, however, some of its parts have different rules of access. There are in particular Data 

Repository and Data Visualization.  

While GMP DWH Data Visualization with the latest data has public once the global POPs data were 

validated by experts and  regional  reports were published, access  to data  repository and  to  the 

core  layer  of  the  GMP  DWH  system  is  and  will  be  permitted  to  authorized  users  only.  Each 

authorized user was provided with ID and password by the help desk in 2013 or early 2014. Access 

page is shown in Figure 20 below.  

 

Figure 20 – Login page to GMP DWH (source http://dwh.pops‐gmp.org) 

Page 27: Global Monitoring Plan Data Warehouse · This training document describes in detail the tools available in the online Global Monitoring Plan Data Warehouse. This document is a second

 

 

26 

 

Help desk 

Help desk tool and is available for all GMP DWH users and any other stakeholder interested in the 

GMP DWH.  The  phone  hotline works  on weekdays  – Monday  to  Friday  8am  to  4pm  CET  and 

additional  support  outside  these  hours  is  provided  by  e‐mail  ([email protected]).  Help  desk 

operators either  immediately provide  requested  information or assistance, or  in case of a more 

complicated  request,  allocate  the  task  to  another  expert/data  manager.  The  help  desk 

performance  is  in  agreement with  requirements  of  the  international  standard  ISO/IEC  20000‐

1:2012 and grants time to response in 24 hours. 

Main tasks and duties: 

Technical assistance to all GMP Data Warehouse (GMP DWH) users 

Allocation of requests to appropriate data warehouse supporting team staff or DWH 

manager 

Administration of user accounts and associated rules 

Contact point for data files from the data providers 

Formal validation of data files and their transfer to relevant DWH managers 

Contact point for bugs, error reports and suggestions for further software and services 

development 

 

 

 

 

 


Recommended