Alphainteractive brainwave controlled video installation

2012by Réka Harsányi

The main focus of the installation is brain wave controlled video screening. The data coming from the sensor is divided into six parts (from the relaxed to the focused state of attention), and assigned to six video-loops. The intensity of the brain waves in the given zones control the layered and cross-faded alpha channels of the video-loops. This means that the higher the intensity of the brainwaves, the more visible the corresponding video becomes. The visitor who activates the system needs to be in a relaxed state with closed eyes (thus gamma brainwaves reduce, and alpha and beta waves grow), therefore he/she cannot see the result; only the visitors standing in front of the screen can see it. Otherwise, the actuators gamma waves gain strength. In the exhibition the spectators will able to spend different times in different states according to their ability of isolation from the outside world.

concept

before

I am attending The Doctoral Program (DLA) of the Hungarian Academy of Fine Arts. My research theme is biosensor based interactive installations. Brainwave sensors in the past were not suitable for exhibition situations because they all needed sterile environments. Fortunately there are many affordable and portable tools nowadays, which are easy to hack. On the next pages you can see an infographics about non-invasive biosensors. In this work I used a hacked brain wave game controller to control video-loops.

Embe

r ér

zéke

lése

/ S

ensi

ng h

uman

nem

inva

zív

bios

zenz

orok

a m

űvés

zetb

en /

non

inva

sive

bio

sens

ors

in a

rtem

ber

- sz

ámít

ógép

inte

rakc

ió /

hum

an -

com

pute

r in

tera

ctio

n

copy

righ

t: R

éka

Har

sány

iha

rsan

yire

ka.n

etse

nsor

brea

kers

.wor

dpre

ss.c

om20

12

tám

ogat

ók /

sup

port

ed b

y

forr

ás /

sou

rce

http

://b

klab

.alv

as.w

ired

.hu/

page

/102

0ht

tp:/

/ww

w.k

isle

xiko

n.hu

/pne

umog

raf.

htm

lyo

utub

e.co

m /

Med

iaAr

tTub

e Ex

hibi

tion

1.0

- B

iofe

edba

ck A

rtht

tp:/

/en.

wik

iped

ia.o

rg/w

iki/

Biof

eedb

ack

http

://e

n.w

ikip

edia

.org

/wik

i/Br

ain-

com

pute

r_in

terf

ace

http

://e

n.w

ikip

edia

.org

/wik

i/El

ectr

oocu

logr

aphy

http

://d

ownl

oad.

cnet

.com

/Fac

ial-

Expr

essi

on-R

ecog

niti

on-S

yste

m/3

000-

2053

_4-1

0647

250.

htm

l

agy

bra

in

arc face

szem eye

szív heart

tüdő lungs

izom muscle

bő

r skin

EEG

= E

lekt

roen

kefa

logr

áf /

Ele

ctro

ence

phal

ogra

phAz

agy

ele

ktro

mos

vál

tozá

sait

a h

ajas

fej

bőrr

e he

lyez

ett

fels

zíni

ele

ktró

dák

segí

ségé

vel

érzé

kelő

kés

zülé

k. E

EG m

easu

res

the

elec

tric

al a

ctiv

atio

n of

the

bra

in.

The

EEG

use

s pr

ecio

us m

etal

ele

ctro

des

to d

etec

t a

volt

age

betw

een

at le

ast

two

elec

trod

es lo

cate

d on

the

sca

lp.

BCI =

Bra

in C

ompu

ter

Inte

rfac

eAz

agy

és

egy

küls

ő es

zköz

köz

ötti

köz

vetl

en k

omm

unik

áció

s cs

ator

na.

BCI i

s a

dire

ct c

omm

unic

atio

n pa

thw

ay b

etw

een

the

brai

n an

d an

ext

erna

l dev

ice.

EOG

= E

lekt

rook

ulog

ráfi

a /

Elec

troo

culo

grap

hyEl

sőso

rban

a g

yors

sze

mm

ozgá

sok

észl

elés

ére

és a

REM

alv

ás

meg

álla

pítá

sára

alk

alm

as e

ljár

ás,

fels

zíni

ele

ktró

dákk

al

műk

ödik

. EO

G is

a t

echn

ique

for

mea

suri

ng t

he r

esti

ng

pote

ntia

l of

the

reti

na.

It c

an m

easu

re e

ye m

ovem

ent.

Szem

moz

gás

köve

tés

/ Ey

e m

ovem

ent

(DIY

) Sz

emm

ozgá

s kö

vető

esz

közö

k és

szo

ftve

rek.

(DIY

) Ey

e tr

acki

ng h

ardw

are

and

soft

war

e.

Arc

kife

jezé

st f

elis

mer

ő sz

oftv

erek

/

Face

exp

ress

ion

reco

gnit

ion

soft

war

eA

kam

eráb

ól n

yert

kép

et b

ekat

egor

izál

ja a

z el

őre

prog

ram

ozot

t hé

t ar

ckif

ejez

és e

gyik

ébe.

It c

an c

lass

ify

the

give

n im

age

from

the

cam

era

into

on

e of

the

pre

prog

ram

med

sev

en b

asic

fac

ial e

xpre

ssio

n ca

tego

ries

.

ECG

= E

lekt

roca

rdio

gráf

/ E

lect

roca

rdio

grap

hA

szív

ritm

ust

a sz

íviz

om m

ozgá

sa á

ltal

létr

ejöv

ő el

ektr

omos

fe

szül

tség

ált

al m

éri a

tes

tre

hely

ezet

t el

ektr

ódák

seg

ítsé

géve

l.EC

G u

ses

elec

trod

es p

lace

d on

the

tor

so t

o m

easu

re t

he

elec

tric

al a

ctiv

ity

of t

he h

eart

.

PPG

= P

leti

zmog

ráfo

k /

Phot

ople

thys

mog

raph

A pu

lzus

szám

és

a vé

r ox

igén

telít

etts

ég m

érés

ére

szol

gáló

újj

ra

csíp

teth

ető

eszk

öz,

hord

ozha

tó v

erzi

ója

a pu

lzox

imét

er.

A sz

ív

össz

ehúz

ódás

a so

rán

mér

hető

vér

nyom

ás é

rték

et (

BPV)

is t

udja

m

érni

. PP

G m

easu

res

the

rela

tive

blo

od f

low

thr

ough

a d

igit

us

ing

a ph

otop

leth

ysm

ogra

phic

(PP

G)

sens

or a

ttac

hed

by a

Ve

lcro

ban

d to

the

fin

gers

A p

hoto

plet

hysm

ogra

ph c

an m

easu

re

bloo

d vo

lum

e pu

lse

(BVP

). P

ulse

oxi

met

ry m

ay b

e us

ed a

s an

al

tern

ativ

e PP

G.

Pn

eum

ográ

f /

Pneu

mog

raph

A m

ellk

as lé

lekz

ésse

l jár

ó vá

ltoz

ásai

nak

felj

egyz

ésér

e va

ló k

észü

lék.

Pne

umog

raph

is a

dev

ice

for

reco

rdin

g ve

loci

ty a

nd f

orce

of

ches

t m

ovem

ents

du

ring

res

pira

tion

.

DIY

légz

és s

zenz

or /

DIY

bre

athi

ng s

enso

rsÁt

alak

ítot

t pi

ezoe

lekt

rom

os v

agy

nyom

ásm

érő

szen

zorb

ól k

észü

lhet

. It

can

be

hack

ed p

iezo

elec

tric

or

pre

ssur

e se

nsor

.

EDG

= E

lekt

rode

rmog

ráf

/ El

ectr

oder

mog

raph

Az E

DG

a b

őr e

lekt

rom

os a

ktiv

itás

át d

irek

t (b

őrve

zető

képe

sség

és

bőr

pote

nciá

l) é

s in

dire

kt (

bőre

llená

llás)

mód

on m

éri a

kéz

re

és c

sukl

óra

hely

ezet

t el

ektr

ódák

seg

ítsé

géve

l. A

bőr

elle

nállá

s m

érés

énél

(G

SR)

az E

DG

ára

mot

vez

et a

bőr

ön á

t és

az

elle

nállá

s ös

szeg

ét m

éri a

min

áth

alad

. An

ele

ctro

derm

ogra

ph (

EDG

) m

easu

res

skin

ele

ctri

cal a

ctiv

ity

dire

ctly

(sk

in c

ondu

ctan

ce a

nd

skin

pot

enti

al)

and

indi

rect

ly (

skin

res

ista

nce)

usi

ng e

lect

rode

s pl

aced

ove

r th

e di

gits

or

hand

and

wri

st.

In s

kin

resi

stan

ce,

also

ca

lled

galv

anic

ski

n re

spon

se (

GSR

), a

n el

ectr

oder

mog

raph

im

pose

s a

curr

ent

acro

ss t

he s

kin

and

mea

sure

s th

e am

ount

of

oppo

siti

on it

enc

ount

ers.

GSR

= G

alvá

nelle

nállá

s m

érő

/ G

alva

nic

skin

res

pons

e se

nsor

Bőre

llená

llás

mér

éser

e al

kalm

as e

szkö

z.G

SR s

nap

sens

ors

mea

sure

s G

alva

nic

Skin

Res

pons

e.

EMG

= E

lekt

rom

iogr

áfia

/ E

lect

rom

yogr

aph

Az iz

omba

n le

zajl

ó el

ektr

omos

tev

éken

ység

et r

egis

ztrá

lja

fels

zíni

ele

ktró

dák

segí

tség

ével

. It

use

s su

rfac

e el

ectr

odes

to

det

ect

mus

cle

acti

on p

oten

tial

s fr

om u

nder

lyin

g sk

elet

al

mus

cles

tha

t in

itia

te m

uscl

e co

ntra

ctio

n.

Ember érzékelése / Sensing humannem invazív bioszenzorok a művészetben / non invasive biosensors in art

ember - számítógép interakció / human - computer interaction

copyright: Réka Harsányiharsanyireka.netsensorbreakers.wordpress.com2012

támogatók / supported by

forrás / source

http://bklab.alvas.wired.hu/page/1020http://www.kislexikon.hu/pneumograf.html

youtube.com / MediaArtTube Exhibition 1.0 - Biofeedback Arthttp://en.wikipedia.org/wiki/Biofeedback

http://en.wikipedia.org/wiki/Brain-computer_interfacehttp://en.wikipedia.org/wiki/Electrooculography

http://download.cnet.com/Facial-Expression-Recognition-System/3000-2053_4-10647250.html

agy brain

arc

fac

e

szem eye

szív

hea

rt

tüdő lungs

izom

mus

cle

bőr skin

EEG = Elektroenkefalográf / ElectroencephalographAz agy elektromos változásait a hajas fejbőrre helyezett felszíni elektródák segíségével érzékelő készülék. EEG measures the electrical activation of the brain. The EEG uses precious metal electrodes to detect a voltage between at least two electrodes located on the scalp.

BCI = Brain Computer InterfaceAz agy és egy külső eszköz közötti közvetlen kommunikációs csatorna.BCI is a direct communication pathway between the brain and an external device.

EOG = Elektrookulográfia / ElectrooculographyElsősorban a gyors szemmozgások észlelésére és a REM alvás megállapítására alkalmas eljárás, felszíni elektródákkal működik. EOG is a technique for measuring the resting potential of the retina. It can measure eye movement.

Szemmozgás követés / Eye movement(DIY) Szemmozgás követő eszközök és szoftverek.(DIY) Eye tracking hardware and software.

Arckifejezést felismerő szoftverek / Face expression recognition softwareA kamerából nyert képet bekategorizálja az előre programozott hét arckifejezés egyikébe. It can classify the given image from the camera into one of the preprogrammed seven basic facial expression categories.

ECG = Elektrocardiográf / ElectrocardiographA szívritmust a szívizom mozgása által létrejövő elektromos feszültség által méri a testre helyezett elektródák segítségével.ECG uses electrodes placed on the torso to measure the electrical activity of the heart.

PPG = Pletizmográfok / PhotoplethysmographA pulzusszám és a vér oxigéntelítettség mérésére szolgáló újjra csíptethető eszköz, hordozható verziója a pulzoximéter. A szív összehúzódása során mérhető vérnyomás értéket (BPV) is tudja mérni. PPG measures the relative blood flow through a digit using a photoplethysmographic (PPG) sensor attached by a Velcro band to the fingers A photoplethysmograph can measure blood volume pulse (BVP). Pulse oximetry may be used as an alternative PPG.

Pneumográf / PneumographA mellkas lélekzéssel járó változásainak feljegyzésére való készülék. Pneumograph is a device for recording velocity and force of chest movements during respiration.

DIY légzés szenzor / DIY breathing sensorsÁtalakított piezoelektromos vagy nyomásmérő szenzorból készülhet. It can be hacked piezoelectric or pressure sensor.

EDG = Elektrodermográf / ElectrodermographAz EDG a bőr elektromos aktivitását direkt (bőrvezetőképesség és bőrpotenciál) és indirekt (bőrellenállás) módon méri a kézre és csuklóra helyezett elektródák segítségével. A bőrellenállás mérésénél (GSR) az EDG áramot vezet a bőrön át és az ellenállás összegét méri amin áthalad. An electrodermograph (EDG) measures skin electrical activity directly (skin conductance and skin potential) and indirectly (skin resistance) using electrodes placed over the digits or hand and wrist. In skin resistance, also called galvanic skin response (GSR), an electrodermograph imposes a current across the skin and measures the amount of opposition it encounters.

GSR = Galvánellenállás mérő / Galvanic skin response sensorBőrellenállás mérésere alkalmas eszköz.GSR snap sensors measures Galvanic Skin Response.

EMG = Elektromiográfia / ElectromyographAz izomban lezajló elektromos tevékenységet regisztrálja felszíni elektródák segítségével. It uses surface electrodes to detect muscle action potentials from underlying skeletal muscles that initiate muscle contraction.

There is a controller called Mindflex that hacked with an Arduino Duemilanove to gather the sensorial data. This controller measures the user’s brain activity in the frontal lobes. It processes the frequencies, which represent the activity status from meditation to attention:

Delta (1-3Hz): sleepTheta (4-7Hz): relaxed, meditativeLow Alpha (8-9Hz): eyes closed, relaxedHigh Alpha (10-12Hz)Low Beta (13-17Hz): alert, focusedHigh Beta (18-30Hz)Low Gamma (31-40Hz): multi-sensory processingHigh Gamma (41-50Hz)

Two different programs were used to develop this work: Arduino and VVVV. The first one reads the data from the Mindflex through the Arduino board, and the second one gets these numbers through the serial port. VVVV also plays the layered video-loops while the intensity of the waves control their alpha channels.

The brain activity can be measured in multiple ranges therefore numerous pictures appear. Because the data varies person by person therefore the resulting video loops will be different.

from: http://frontiernerds.com/brain-hack

hardware & software

Instruction

The person who wears the sensor can see the monitor, but he/she must no sit front of it. Otherwise if she/he watches the video her/ his gamma brain waves will gain strength therefore only one video-loop will play. If she/he closes her/his eyes and tries to shut out the external world the resulting video will be more interesting. The monitor should be more visible to the audience than to the person who controls the piece.

exhibition

copyright Réka Harsányi 2012harsanyireka.net