+ All Categories
Home > Education > iRODS/Dataverse Project by Jonathan Crabtree

iRODS/Dataverse Project by Jonathan Crabtree

Date post: 15-Aug-2015
Category:
Upload: datascienceiqss
View: 191 times
Download: 0 times
Share this document with a friend
12
IRODS/DATAVERSE PROJECT JUNE 2015 THE ODUM INSTITUTE FOR RESEARCH IN SOCIAL SCIENCE 228 DAVIS LIBRARY, CB# 3355 UNIVERSITY OF NORTH CAROLINA AT CHAPEL HILL CHAPEL HILL, NC 275993355 www.odum.unc.edu Jonathan Crabtree Assistant Director of Compu2ng and Archival Research
Transcript

IRODS/DATAVERSE  PROJECT    JUNE    2015

THE  ODUM  INSTITUTE  FOR  RESEARCH  IN  SOCIAL  SCIENCE  228  DAVIS  LIBRARY,  CB#  3355  UNIVERSITY  OF  NORTH  CAROLINA  AT  CHAPEL  HILL  CHAPEL  HILL,  NC    27599-­‐3355  www.odum.unc.edu  

Jonathan  Crabtree  Assistant  Director  of  Compu2ng  and  Archival  

Research  

Na#onal  Science  Founda#on  Coopera#ve  Agreement:  OCI-­‐0940841  

Hao  Xu,  Akio  Sone,  Mike  Conway,  and  Jonathan  Crabtree    

In  collaboraRon  with  the    

IQSS  Dataverse  Team  

PROJECT  GOALS

¡  Expand  storage  opRons  for  Dataverse  

¡  CuraRon  workflow  integraRon  

¡  Connect  Dataverse  with  naRonal  architecture  

¡  Open  source  focused  

¡  Flexible  design  

BRINGING  GREAT  TOOLS  TOGETHER

¡  iRODS  

¡  Dataverse  

¡  Modeshape  

¡  Databook  Architecture  

¡  Apache  service  mix  

¡  iRODS  rule  integraRon  

¡  Indexing  engine  

THREE  PRIMARY  USE  CASES

¡  Publish  research  data  from  within  acRve  research  environment  

¡  Expand  Dataverse  storage  opRons    

¡  Connect  Odum  Archive  to  DFC’s  naRonal  architecture  

DATAVERSE/IRODS INTEGRATION

6

THREE  PRONGED  APPROACH

¡  Enable  automated    iRODS  rules  based  Dataverse  ingest  

¡  URlizes  Databook  and  AMQP  messaging  

¡  Dataverse  API  

¡  Prototype  operaRonal  using  Dataverse  3.x  

¡  Use  of  Modeshape  to  abstract  Dataverse  storage  

¡  Prototype  uses  Dataverse  3.x  and  iRODS  3.x  

¡  iRODS  rules  based  data  management  

¡  IniRal  rules  wri]en  for  subset  of  ISO  16363  

¡  Preliminary  tests  on  iRODS  3.x  

CHALLENGES

¡  MigraRon  to  Dataverse  4.x  

¡  MigraRon  to  iRODS  4.x  

¡  AuthenRcaRon  between  two  systems  

CURRENT  WORK  &  TIMELINE

¡  IQSS  team  has  now  programmed  a  draa  of  abstract  data  object  for  4.0.2  

¡  Akio  is  currently    tesRng  Modeshape  integraRon  with  Dataverse  4.0.2  

¡  iRODS  4.X  integraRon  with  Modeshape  tested    

¡  Prototype  expected  August  2015  

¡  TesRng  for  inclusion  in  Dataverse  Fall  2015  

NEXT  STEPS  AND  FEATURES  NEEDED

¡  SelecRon  of  iRODS  policies  from  within  Dataverse  GUI  

¡  Dynamic  query  of  Dataverse  metadata  from  within  iRODS  

¡  Enforce  DataTags  using  iRODS  rule  based  management  

¡  Dynamic  selecRon  of  storage  locaRons  

¡  Remote  storage  locaRon  and  linkages  

¡  Perform  compute  on  remote  data  storage  

LINKS

¡  https://github.com/DICE-UNC/dfc-dataverse-integration

¡  https://github.com/DICE-UNC/indexing-irods

¡  https://github.com/akio-sone/dvn/tree/Odum-Ext

¡  http://datafed.org

¡  http://thedata.org

¡  http://www.odum.unc.edu/odum/home2.jsp

THANK  YOU

Odum  Ins#tute  Data  Archive  [email protected]  

 Jonathan  Crabtree  

Assistant  Director  for  CompuRng  and  Archival  Research  

[email protected]    

 


Recommended