Alphainteractive brainwave controlled video installation
2012by Réka Harsányi
The main focus of the installation is brain wave controlled video screening. The data coming from the sensor is divided into six parts (from the relaxed to the focused state of attention), and assigned to six video-loops. The intensity of the brain waves in the given zones control the layered and cross-faded alpha channels of the video-loops. This means that the higher the intensity of the brainwaves, the more visible the corresponding video becomes. The visitor who activates the system needs to be in a relaxed state with closed eyes (thus gamma brainwaves reduce, and alpha and beta waves grow), therefore he/she cannot see the result; only the visitors standing in front of the screen can see it. Otherwise, the actuators gamma waves gain strength. In the exhibition the spectators will able to spend different times in different states according to their ability of isolation from the outside world.
concept
before
I am attending The Doctoral Program (DLA) of the Hungarian Academy of Fine Arts. My research theme is biosensor based interactive installations. Brainwave sensors in the past were not suitable for exhibition situations because they all needed sterile environments. Fortunately there are many affordable and portable tools nowadays, which are easy to hack. On the next pages you can see an infographics about non-invasive biosensors. In this work I used a hacked brain wave game controller to control video-loops.
Embe
r ér
zéke
lése
/ S
ensi
ng h
uman
nem
inva
zív
bios
zenz
orok
a m
űvés
zetb
en /
non
inva
sive
bio
sens
ors
in a
rtem
ber
- sz
ámít
ógép
inte
rakc
ió /
hum
an -
com
pute
r in
tera
ctio
n
copy
righ
t: R
éka
Har
sány
iha
rsan
yire
ka.n
etse
nsor
brea
kers
.wor
dpre
ss.c
om20
12
tám
ogat
ók /
sup
port
ed b
y
forr
ás /
sou
rce
http
://b
klab
.alv
as.w
ired
.hu/
page
/102
0ht
tp:/
/ww
w.k
isle
xiko
n.hu
/pne
umog
raf.
htm
lyo
utub
e.co
m /
Med
iaAr
tTub
e Ex
hibi
tion
1.0
- B
iofe
edba
ck A
rtht
tp:/
/en.
wik
iped
ia.o
rg/w
iki/
Biof
eedb
ack
http
://e
n.w
ikip
edia
.org
/wik
i/Br
ain-
com
pute
r_in
terf
ace
http
://e
n.w
ikip
edia
.org
/wik
i/El
ectr
oocu
logr
aphy
http
://d
ownl
oad.
cnet
.com
/Fac
ial-
Expr
essi
on-R
ecog
niti
on-S
yste
m/3
000-
2053
_4-1
0647
250.
htm
l
agy
bra
in
arc face
szem eye
szív heart
tüdő lungs
izom muscle
bő
r skin
EEG
= E
lekt
roen
kefa
logr
áf /
Ele
ctro
ence
phal
ogra
phAz
agy
ele
ktro
mos
vál
tozá
sait
a h
ajas
fej
bőrr
e he
lyez
ett
fels
zíni
ele
ktró
dák
segí
ségé
vel
érzé
kelő
kés
zülé
k. E
EG m
easu
res
the
elec
tric
al a
ctiv
atio
n of
the
bra
in.
The
EEG
use
s pr
ecio
us m
etal
ele
ctro
des
to d
etec
t a
volt
age
betw
een
at le
ast
two
elec
trod
es lo
cate
d on
the
sca
lp.
BCI =
Bra
in C
ompu
ter
Inte
rfac
eAz
agy
és
egy
küls
ő es
zköz
köz
ötti
köz
vetl
en k
omm
unik
áció
s cs
ator
na.
BCI i
s a
dire
ct c
omm
unic
atio
n pa
thw
ay b
etw
een
the
brai
n an
d an
ext
erna
l dev
ice.
EOG
= E
lekt
rook
ulog
ráfi
a /
Elec
troo
culo
grap
hyEl
sőso
rban
a g
yors
sze
mm
ozgá
sok
észl
elés
ére
és a
REM
alv
ás
meg
álla
pítá
sára
alk
alm
as e
ljár
ás,
fels
zíni
ele
ktró
dákk
al
műk
ödik
. EO
G is
a t
echn
ique
for
mea
suri
ng t
he r
esti
ng
pote
ntia
l of
the
reti
na.
It c
an m
easu
re e
ye m
ovem
ent.
Szem
moz
gás
köve
tés
/ Ey
e m
ovem
ent
(DIY
) Sz
emm
ozgá
s kö
vető
esz
közö
k és
szo
ftve
rek.
(DIY
) Ey
e tr
acki
ng h
ardw
are
and
soft
war
e.
Arc
kife
jezé
st f
elis
mer
ő sz
oftv
erek
/
Face
exp
ress
ion
reco
gnit
ion
soft
war
eA
kam
eráb
ól n
yert
kép
et b
ekat
egor
izál
ja a
z el
őre
prog
ram
ozot
t hé
t ar
ckif
ejez
és e
gyik
ébe.
It c
an c
lass
ify
the
give
n im
age
from
the
cam
era
into
on
e of
the
pre
prog
ram
med
sev
en b
asic
fac
ial e
xpre
ssio
n ca
tego
ries
.
ECG
= E
lekt
roca
rdio
gráf
/ E
lect
roca
rdio
grap
hA
szív
ritm
ust
a sz
íviz
om m
ozgá
sa á
ltal
létr
ejöv
ő el
ektr
omos
fe
szül
tség
ált
al m
éri a
tes
tre
hely
ezet
t el
ektr
ódák
seg
ítsé
géve
l.EC
G u
ses
elec
trod
es p
lace
d on
the
tor
so t
o m
easu
re t
he
elec
tric
al a
ctiv
ity
of t
he h
eart
.
PPG
= P
leti
zmog
ráfo
k /
Phot
ople
thys
mog
raph
A pu
lzus
szám
és
a vé
r ox
igén
telít
etts
ég m
érés
ére
szol
gáló
újj
ra
csíp
teth
ető
eszk
öz,
hord
ozha
tó v
erzi
ója
a pu
lzox
imét
er.
A sz
ív
össz
ehúz
ódás
a so
rán
mér
hető
vér
nyom
ás é
rték
et (
BPV)
is t
udja
m
érni
. PP
G m
easu
res
the
rela
tive
blo
od f
low
thr
ough
a d
igit
us
ing
a ph
otop
leth
ysm
ogra
phic
(PP
G)
sens
or a
ttac
hed
by a
Ve
lcro
ban
d to
the
fin
gers
A p
hoto
plet
hysm
ogra
ph c
an m
easu
re
bloo
d vo
lum
e pu
lse
(BVP
). P
ulse
oxi
met
ry m
ay b
e us
ed a
s an
al
tern
ativ
e PP
G.
Pn
eum
ográ
f /
Pneu
mog
raph
A m
ellk
as lé
lekz
ésse
l jár
ó vá
ltoz
ásai
nak
felj
egyz
ésér
e va
ló k
észü
lék.
Pne
umog
raph
is a
dev
ice
for
reco
rdin
g ve
loci
ty a
nd f
orce
of
ches
t m
ovem
ents
du
ring
res
pira
tion
.
DIY
légz
és s
zenz
or /
DIY
bre
athi
ng s
enso
rsÁt
alak
ítot
t pi
ezoe
lekt
rom
os v
agy
nyom
ásm
érő
szen
zorb
ól k
észü
lhet
. It
can
be
hack
ed p
iezo
elec
tric
or
pre
ssur
e se
nsor
.
EDG
= E
lekt
rode
rmog
ráf
/ El
ectr
oder
mog
raph
Az E
DG
a b
őr e
lekt
rom
os a
ktiv
itás
át d
irek
t (b
őrve
zető
képe
sség
és
bőr
pote
nciá
l) é
s in
dire
kt (
bőre
llená
llás)
mód
on m
éri a
kéz
re
és c
sukl
óra
hely
ezet
t el
ektr
ódák
seg
ítsé
géve
l. A
bőr
elle
nállá
s m
érés
énél
(G
SR)
az E
DG
ára
mot
vez
et a
bőr
ön á
t és
az
elle
nállá
s ös
szeg
ét m
éri a
min
áth
alad
. An
ele
ctro
derm
ogra
ph (
EDG
) m
easu
res
skin
ele
ctri
cal a
ctiv
ity
dire
ctly
(sk
in c
ondu
ctan
ce a
nd
skin
pot
enti
al)
and
indi
rect
ly (
skin
res
ista
nce)
usi
ng e
lect
rode
s pl
aced
ove
r th
e di
gits
or
hand
and
wri
st.
In s
kin
resi
stan
ce,
also
ca
lled
galv
anic
ski
n re
spon
se (
GSR
), a
n el
ectr
oder
mog
raph
im
pose
s a
curr
ent
acro
ss t
he s
kin
and
mea
sure
s th
e am
ount
of
oppo
siti
on it
enc
ount
ers.
GSR
= G
alvá
nelle
nállá
s m
érő
/ G
alva
nic
skin
res
pons
e se
nsor
Bőre
llená
llás
mér
éser
e al
kalm
as e
szkö
z.G
SR s
nap
sens
ors
mea
sure
s G
alva
nic
Skin
Res
pons
e.
EMG
= E
lekt
rom
iogr
áfia
/ E
lect
rom
yogr
aph
Az iz
omba
n le
zajl
ó el
ektr
omos
tev
éken
ység
et r
egis
ztrá
lja
fels
zíni
ele
ktró
dák
segí
tség
ével
. It
use
s su
rfac
e el
ectr
odes
to
det
ect
mus
cle
acti
on p
oten
tial
s fr
om u
nder
lyin
g sk
elet
al
mus
cles
tha
t in
itia
te m
uscl
e co
ntra
ctio
n.
Ember érzékelése / Sensing humannem invazív bioszenzorok a művészetben / non invasive biosensors in art
ember - számítógép interakció / human - computer interaction
copyright: Réka Harsányiharsanyireka.netsensorbreakers.wordpress.com2012
támogatók / supported by
forrás / source
http://bklab.alvas.wired.hu/page/1020http://www.kislexikon.hu/pneumograf.html
youtube.com / MediaArtTube Exhibition 1.0 - Biofeedback Arthttp://en.wikipedia.org/wiki/Biofeedback
http://en.wikipedia.org/wiki/Brain-computer_interfacehttp://en.wikipedia.org/wiki/Electrooculography
http://download.cnet.com/Facial-Expression-Recognition-System/3000-2053_4-10647250.html
agy brain
arc
fac
e
szem eye
szív
hea
rt
tüdő lungs
izom
mus
cle
bőr skin
EEG = Elektroenkefalográf / ElectroencephalographAz agy elektromos változásait a hajas fejbőrre helyezett felszíni elektródák segíségével érzékelő készülék. EEG measures the electrical activation of the brain. The EEG uses precious metal electrodes to detect a voltage between at least two electrodes located on the scalp.
BCI = Brain Computer InterfaceAz agy és egy külső eszköz közötti közvetlen kommunikációs csatorna.BCI is a direct communication pathway between the brain and an external device.
EOG = Elektrookulográfia / ElectrooculographyElsősorban a gyors szemmozgások észlelésére és a REM alvás megállapítására alkalmas eljárás, felszíni elektródákkal működik. EOG is a technique for measuring the resting potential of the retina. It can measure eye movement.
Szemmozgás követés / Eye movement(DIY) Szemmozgás követő eszközök és szoftverek.(DIY) Eye tracking hardware and software.
Arckifejezést felismerő szoftverek / Face expression recognition softwareA kamerából nyert képet bekategorizálja az előre programozott hét arckifejezés egyikébe. It can classify the given image from the camera into one of the preprogrammed seven basic facial expression categories.
ECG = Elektrocardiográf / ElectrocardiographA szívritmust a szívizom mozgása által létrejövő elektromos feszültség által méri a testre helyezett elektródák segítségével.ECG uses electrodes placed on the torso to measure the electrical activity of the heart.
PPG = Pletizmográfok / PhotoplethysmographA pulzusszám és a vér oxigéntelítettség mérésére szolgáló újjra csíptethető eszköz, hordozható verziója a pulzoximéter. A szív összehúzódása során mérhető vérnyomás értéket (BPV) is tudja mérni. PPG measures the relative blood flow through a digit using a photoplethysmographic (PPG) sensor attached by a Velcro band to the fingers A photoplethysmograph can measure blood volume pulse (BVP). Pulse oximetry may be used as an alternative PPG.
Pneumográf / PneumographA mellkas lélekzéssel járó változásainak feljegyzésére való készülék. Pneumograph is a device for recording velocity and force of chest movements during respiration.
DIY légzés szenzor / DIY breathing sensorsÁtalakított piezoelektromos vagy nyomásmérő szenzorból készülhet. It can be hacked piezoelectric or pressure sensor.
EDG = Elektrodermográf / ElectrodermographAz EDG a bőr elektromos aktivitását direkt (bőrvezetőképesség és bőrpotenciál) és indirekt (bőrellenállás) módon méri a kézre és csuklóra helyezett elektródák segítségével. A bőrellenállás mérésénél (GSR) az EDG áramot vezet a bőrön át és az ellenállás összegét méri amin áthalad. An electrodermograph (EDG) measures skin electrical activity directly (skin conductance and skin potential) and indirectly (skin resistance) using electrodes placed over the digits or hand and wrist. In skin resistance, also called galvanic skin response (GSR), an electrodermograph imposes a current across the skin and measures the amount of opposition it encounters.
GSR = Galvánellenállás mérő / Galvanic skin response sensorBőrellenállás mérésere alkalmas eszköz.GSR snap sensors measures Galvanic Skin Response.
EMG = Elektromiográfia / ElectromyographAz izomban lezajló elektromos tevékenységet regisztrálja felszíni elektródák segítségével. It uses surface electrodes to detect muscle action potentials from underlying skeletal muscles that initiate muscle contraction.
There is a controller called Mindflex that hacked with an Arduino Duemilanove to gather the sensorial data. This controller measures the user’s brain activity in the frontal lobes. It processes the frequencies, which represent the activity status from meditation to attention:
Delta (1-3Hz): sleepTheta (4-7Hz): relaxed, meditativeLow Alpha (8-9Hz): eyes closed, relaxedHigh Alpha (10-12Hz)Low Beta (13-17Hz): alert, focusedHigh Beta (18-30Hz)Low Gamma (31-40Hz): multi-sensory processingHigh Gamma (41-50Hz)
Two different programs were used to develop this work: Arduino and VVVV. The first one reads the data from the Mindflex through the Arduino board, and the second one gets these numbers through the serial port. VVVV also plays the layered video-loops while the intensity of the waves control their alpha channels.
The brain activity can be measured in multiple ranges therefore numerous pictures appear. Because the data varies person by person therefore the resulting video loops will be different.
from: http://frontiernerds.com/brain-hack
hardware & software
Instruction
The person who wears the sensor can see the monitor, but he/she must no sit front of it. Otherwise if she/he watches the video her/ his gamma brain waves will gain strength therefore only one video-loop will play. If she/he closes her/his eyes and tries to shut out the external world the resulting video will be more interesting. The monitor should be more visible to the audience than to the person who controls the piece.
exhibition
copyright Réka Harsányi 2012harsanyireka.net