Social Human-Robot Interaction in Slovak

Company name Company slogan here

PREDSTAVENIE PRVÉHO SLOVENSKÉHO PROJEKTU SPOLOČENSKEJ ROBOTIKY


Podpora výskumu smerom k spin-offs Aktivita "Pilot projects in the domain of Information & Communication technologies" , PP6 - Artificial intelligence usage in intelligent systems



The future concept and reality of Social Robotics: Challenges, Perception and Applications - Role of Social Robotics in current and future society






Implementácia adaptívneho interaktívneho systému na rôzne robotické platformy smerom ku personalizovanej interakcii

tzv. sociálna (asistívna) robotika čo to je?





... „neberú ohľad“ na konanie ľudí v ich blízkosti, a už vôbec nie na to, čo si ľudia myslia alebo si želajú ... sú limitované v prejavovaní čo robia, čo si myslia, čo chcú


Udriavať konverzáciu s človekom Porozumieť ľudskej komunikácii Rozpoznať význam gest, prejavom emócií Prejavovať emócie ...

NESOĆIÁLNE STROJE


• My sme sociálni. • Stroje používajúce rovnake komunikačné kanály – lepšia interakcia • Pohľad – kognícia zo sociálnej interakcie (developmental robotics) • Od mozgu k telu k interaktívnemu telu ... antropomorfizácia



Pareidolia: videnie zvieracích/ľudských príznakov v objektoch a náhodných vzoroch Antropomorfizácia - požehnanie pre robotikov Pripisujeme ľudskú motiváciu, vlastnosti, správania neľudským organizmom alebo neživým objektom


SOCIAL + ASSISTIVE = ???


•Zameriava sa na pomoc ľuďom cez sociálnu, nie fyzickú intrakciu •Narozdiel od asistívnej robotiky, SAR môže byť pre akúkoľvek skupinu, s alebo bez hendikepu •Výskum: udržiavanie motivácie, dôvery, spolupatričnosti •Smerovanie správania k dlhodobým cieľom •Modelovanie personalizácie a adaptácie, dynamika sociálnych interakcií

ZÁKLADNÝ POPIS


Roboty: • drahé • náročné na masovú produkciu • krehké • komplikovanejšie na údržbu • ťažko kustomizovať • dlhší vývoj • ...

POROVNANIE S VIRTUÁLNYMI AGENTAMI










„New Robotics is going to be human-centered, thus it needs to adhere to certain social behaviors and standards that we as humans find acceptable“


Systém, ktorý dokáže udržať dlhodobú interakciu smerom ku splneniu nejakého cieľa, personalizovaný model robota adaptujúci sa na požiadavky dieťaťa, meniaci sa spolu s vývojom dieťaťa (napr. v učení), interakcia ako s rovnocenným kamarátom (nie ako s učiteľom, resp. rodičom)


AKÉ MAJÚ BYŤ SOCIÁLNE ROBOTY?



•Ako nový nástroj na podporu učenia pre deti doma alebo v školách •Nechceme nahradiť ľuských učiteľov •Robot ako motivátor

Aké správanie robota, aby sa konkrétne dieťa čo najefektívnejšie učilo ?

•Personalizovaná interakcia s robotom •Nielen dieťa sa učí od robota, ale aj systém sa inkrementálne učí

1. MODELOVÝ SCENÁR


SCENÁR: ROBOT PREDCVIČUJE CVIKY PROTI SKOLIÓZE


SCENÁR: DETI SA UČIA CVIČIŤ OD ROBOTA


SCENÁR: DETI SA UČIA ANGLICKY OD ROBOTA


V pozadí sa zapína/vypína „emocionálny model“, resp. ho vypneme. Budeme sledovať záujem dieťata o robota s modelom/bez modelu. Budeme merať, ktorý model a do akej miery viac motivuje dieťa sa učiť.

Robot nemá afekt (vypnuté oba modely) VERZUS

Robot má emocionálny model ako „vlastný vnútorný svet“ VERZUS

Robot má mirroruje afekt dieťaťa

POČAS UČENIA


Použitý ako učiaci framework nových prejavov človek-robot (učenie demonštráciou) Gestá/pózy/pohybové vzory Tváre Afekt v reči Rozpoznávanie emócií zhlukovaním (ARTMAP , Kohonen, fuzzy)

Neural Approach for Personalised Emotional Model in Human-Robot Interaction / Mária Virčíková ... [et al.] - 2012. In: WCCI Gesture Recognition using DTW and its Application Potential in Human-Centered Robotics / Alena Kopaničáková, Mária Virčíková – 2013


emócia z človeka (pohybové vzory/pózy/gestá/tvár/smer pohľadu ... neskôr reč) sa mapujú real-time počas interakcie na robota

http://www.youtube.com/watch?v=VRO_Z6dJOEc


•Na základe kontextu modelového scenára sa generujú emocionálne stavy •Pravidlá na základe dlhodobého cieľa interakcie

•Ak sa má dieťa niečo naučiť AK je Väčšina odpovedí dieťaťa správnych , RADOSŤ rastie, AK je odpoveď prvá správna, PREKVAPENIE ... •Ak si má dieťa zapamätať nejaký text – priraďovanie emócií ku textu (Martina)


1. Roboty budú využívať distribuovaný model dlhodobej pamäte - ako „switch board“ pre iné kognitívne modality

2. Modelovanie užívateľa a úlohy adaptívne, robot prispôsobuje svoje správanie užívateľom, snaží sa transformovať užívateľovi špecifickú stratégiu na dosiahnutie cieľa

3. Verbálna a neverbálna zložka prepojené 4. Súčasťou je aj nájsť vhodné techniky na hodnotenie interakcie

PROJEKT EMOTION


VEDECKÉ A TECHNOLOGICKÉ CIELE PROJEKTU

1. Návrh a vývoj afektívnej slučky s inkrementálnym učením pre personalizovanú dlhodobú interakciu.

Cieľom je simulovať prejavy empatie stroja, čiže musí byť schopný identifikovať mentálne stavy užívateľa a príslušne na ne reagovať




2. Rozpoznávanie mentálnych stavov užívateľa (emočných

príznakov) z jeho pohybu, tváre a iných prejavov

(neurónové siete + fuzzy)



3. Tvorba databáz emocionálnych vzorov (verbálne a neverbálne prejavy). Implementácia na Cloud.



4. Experimenty so systémom vonku – mimo laboratória, priamo v prostrediach, na ktoré bol systém vyvíjaný (školy, nemocnice, domovy dôchodcov,...).

Zatiaľ: deti, neskôr pomoc iným typom užívateľom (starší ľudia) Takýmto spôsobom získavame cennú spätnú väzbu priamo od mienených užívateľov.






5. Sociálne učenie (od učenia imitáciou)

Smerom k intuitívnym, empatickým a adaptabilným systémom

Čím menej ručne naprogramovaných robotov Namiesto toho sa učí robot Učí sa aj sociálne prejavovať, komunikovať pre človeka prirodzeným spôsobom





6. Tvorba afektívnych správaní pre

rôzne humanoidné platformy (v rámci EMOTION budeme pracovať

s robotmi NAO, Hanson a Qbo) a prepojenie výstupov na robotické midlvéry ako ROS a RT-Middleware

Ing. Magyar


• Middleware je programové vybavenie pre uľahčenie a urýchlenie prístupu k

rôznym zariadeniam

• Programátor sa môže sústrediť na samotný algoritmus a využíva už pripravené

komponenty pre rôzne systémy

http://www.google.sk/url?sa=i&rct=j&q=&esrc=s&frm=1&source=images&cd=&cad=rja&docid=hwgq96ORQ5FM_M&tbnid=W6GlUh5k0ykyvM:&ved=0CAUQjRw&url=http://www.vps.net/blog/2013/06/18/linux-powered-robots/&ei=Nf9rUrfwNMrCtQb524C4CQ&bvm=bv.55123115,d.Yms&psig=AFQjCNHrq4Nnl9ad680LZn7uwfMSbGr9-A&ust=1382895788803834


• Čo je robotický middleware?

1) zabezpečuje komunikáciu medzi softvérovými komponentami

2) zabezpečuje efektívnu integráciu subsystémov do komplexných celkov

• Prečo potrebujeme robotický middleware?

1) vysoký počet výrobcov robotického hardvéru a rôznych softvérových

prostriedkov

2) možnosť využitia metód umelej inteligencie pre rôznych robotov

• Príklady middleware :

• ROS, RT-Middleware, OPRoS, Orocos, Player/Stage, URBI, YARP,

CARMEN, Orca, MOOS, Microsoft Robotics Studio, ...


• Robot Operating System (WILLOW GARAGE. Ltd)

• Základné bloky sú:

a) Uzly (nodes) – výpočtové jednotky

b) Správy (messages) – dátové štruktúry

c) Témy (topics) – jednoduchý reťazec

d) Služby (services) – spracovanie

synchrónnych procesov


• Ubuntu – verzus Windows, Mac OS

• Programovacie jazyky: C/C++, Python, Octave, Lisp, ...

• IDL (interface definition language) – zabezpečuje

komunikáciu medzi komponentami

• Viac ako 2000 komponentov


• Perception, Object Identification

• Segmentation and recognition, Face recognition, Gesture recognition

• Motion tracking, Ego motion, Motion understanding

• Structure from motion (SFM)

• Stereo vision: depth perception via two cameras

• Mobile robotics

• Control

• Planning

• Grasping

• Etc.....


• Silný tlak na využitie ROS v priemysle ROS-Industrial – rozšírenie aplikačnej oblasti ROS v priemysle • Open Source Robotics Foundation podpora vývoja, distribúcie a adaptácie open-source softvéru v robotickom výskume • GOOGLE Android + ROS = rosjava Android + Robot + ROS = Cloud Robotics

http://www.youtube.com/watch?v=E8sxdZ7PNOg


• Zapojiť sa do svetovej komunity ROS pre sociálnu robotiku

• Vytvoriť ROS centrum na Slovensku na CIT v Košiciach


• Targets-Drives-Means • spolupráca s University of Tsukaba • knižnica komponentov pre NAO • komponenty v programovacom jazyku Python • trackovanie lopty • face detection • face tracking • ďalšie ... • http://www.youtube.com/watch?v=PwN5a1VHbqs

http://www.youtube.com/watch?v=PwN5a1VHbqs


• Prečo TDM ak máme Choregraphe?



7. Priraďovanie emócií vzhľadom na prostredie –

napríklad z textových dát – založené na semantických

technológiách

Ing. Tarhaničová




(1) I am now trying to find words to describe this movie for an

hour.

(2) I couldn’t.

(3) You’ve seen it, or you haven’t.

(4) It’s monumental and outrageously good.

(5) The cast is brilliant.

(6) The jokes lovely.

(7) The story and the idea behind the movie is beautiful

(8) Especially when you’ve worked/lived with handicapped

people.

(9) The music is such a perfect choice, it is unbelievable.


- detekcia subjektivity

- klasifikácia polarity

- klasifikácia intenzity

- detekcia emócií - ako detegujeme emócie?

Emočné modely:

- kategorizačný prístup

- dimenzionálny prístup

- prístup založený na ohodnocovaní (“appraisals – based”)


Štyri základné prístupy:

- korpusové metódy

- metódy strojového učenia

- metódy založené na znalostiach

- hybridné metódy

Korpusové metódy:

- sú založené na emočných slovníkoch

- slovníky obsahujú vážené hodnotenie z trénovacích dokumentov, z

ktorých sa buduje predikčný model


Metódy strojového učenia: - využívajú anotovaný korpus na natrénovanie emočného klasifikátora - na klasifikáciu emócií sa používa (ne)kontrolované

Metódy založené na znalostiach: - využívajú linguistické pravidlá a stavbu viet v spojení so zdrojmi sentimentu (WordNet Affect, Senti WordNet)


(personalizácia*)


1. Aký typ interakcie sa ľuďom najviac páči? (napríklad meranie dĺžky interakcie, sledovanie záujmu robota o systém) 2. Význam emócií v interakcii 3. Aký model – aby sa najviac naučili? (meranie výsledkov učenie sa detí) 4. Je personalizácia potrebná alebo je jednoduchšie/prínosnejšie urobiť univerzálny systém? 5. Učí sa sociálny robot od človeka lepšie ako nesociálny?


Emocionálna zložka v prejavovaní správania je veľmi dôležitá Sociálny robot sa naučil viac/rýchlejšie ako nesociálni (učenie neverbálnych prejavov, učenie nových povelov, zvieratiek z obrázkov) Ak robot prejavuje emócie stále novým spôsobom – príťažlivejšie pre deti (generovanie emocionálnych prejavov napr. evolučným algoritmom)


Date post:	22-Jan-2015
Category:	Technology
Upload:	mari-vircik
View:	880 times
Download:	4 times

Social Human-Robot Interaction in Slovak

Technology