Budapest  University  of  Technology  and  EconomicsDepartment  of  Measurement  and  Informa<on  Systems

Budapest  University  of  Technology  and  EconomicsFault  Tolerant  Systems  Research  Group

“STANDING  QUERIES”  Real2me  gesture  recogni2on  with  Eclipse  technologies

 István  DÁVID,  István  RÁTH

hDp://viatra.inf.mit.bme.hu/incquery/demos/jnect  

Overview

Kinectsensordata

Live  EMF  model

EMF-­‐IncQuery  paDern  matcher

Esper  complex  event  

processor

setX(…)EMF  

no2fica2on

PaDern  match  deltas

User  moving  in  front  of  the  sensor

Recognizedgesture  sequences

Overview

Kinectsensordata

Live  EMF  model

EMF-­‐IncQuery  paDern  matcher

Esper  complex  event  

processor

Full  model  update  at  ~20  

FPS

setX(…)EMF  

no2fica2on

PaDern  match  deltas

User  moving  in  front  of  the  sensor

Recognizedgesture  sequences

Overview

Kinectsensordata

Live  EMF  model

EMF-­‐IncQuery  paDern  matcher

Esper  complex  event  

processor

PaBern  Y()  {

}

Full  model  update  at  ~20  

FPS

setX(…)EMF  

no2fica2on

PaDern  match  deltas

User  moving  in  front  of  the  sensor

Recognizedgesture  sequences

Overview

Kinectsensordata

Live  EMF  model

EMF-­‐IncQuery  paDern  matcher

Esper  complex  event  

processor

Full  model  update  at  ~20  

FPS

setX(…)EMF  

no2fica2on

PaDern  match  deltas

User  moving  in  front  of  the  sensor

Recognizedgesture  sequences

Overview

Kinectsensordata

Live  EMF  model

EMF-­‐IncQuery  paDern  matcher

Esper  complex  event  

processor

Full  model  update  at  ~20  

FPS

setX(…)EMF  

no2fica2on

PaDern  match  deltas

User  moving  in  front  of  the  sensor

Recognizedgesture  sequences

Event  PaBern  YMCA

SELECT  *  FROM  paDern[  every(('Y')  -­‐>              ('M')  -­‐>              ('C')  -­‐>            ('A')  WHERE  2mer:within(10  sec))]

Overview

Kinectsensordata

Live  EMF  model

EMF-­‐IncQuery  paDern  matcher

Esper  complex  event  

processor

Full  model  update  at  ~20  

FPS

setX(…)EMF  

no2fica2on

PaDern  match  deltas

User  moving  in  front  of  the  sensor

Recognizedgesture  sequences

Overview

Kinectsensordata

Live  EMF  model

EMF-­‐IncQuery  paDern  matcher

Esper  complex  event  

processor

Full  model  update  at  ~20  

FPS

setX(…)EMF  

no2fica2on

PaDern  match  deltas

User  moving  in  front  of  the  sensor

Recognizedgesture  sequences

Overview

Kinectsensordata

Live  EMF  model

EMF-­‐IncQuery  paDern  matcher

Esper  complex  event  

processor

Full  model  update  at  ~20  

FPS

setX(…)EMF  

no2fica2on

PaDern  match  deltas

User  moving  in  front  of  the  sensor

Recognizedgesture  sequences

GEF3D-­‐based  visualiza2on

PaDern  matcher  output

CEP  output

EMF-­‐IncQuery§ High  performance  incremental  paDern  matcher

o Provides  on-­‐the-­‐fly  model  query  evalua2on  performance  for  complex  queries  over  very  large  EMF  instance  models

o Typical  use  cases:  on-­‐the-­‐fly  valida2on,  view  maintenance/abstract  databinding,  derived  edges/aDributes,  …

§ Coming  in  the  following  weeks  to  Eclipse  Modeling§ Version  0.6.7  available  from

o The  Eclipse  Marketplaceo hDp://viatra.inf.mit.bme.hu/incquery

§ Featured  at  EclipseCon  Europe  2012:Fast,  Faster  and  Super-­‐fast  Model  Queries(Ed  Willink  and  István  Ráth)