Prenez le contrôle de Kinect pour Windows SDK (Beta)

Agenda SDK & Architecture Buffer vidéo Buffer de profondeur Suivi de squelettes Gestion du son

SDK Développé par Microsoft Research Utilisation non commerciale

uniquement Windows 7 uniquement

x86 x64

Managed et C++

Architecture

SDK 3 flux disponibles

Image Profondeur Audio

Librairie NUI (Natural User Interface) Détection automatique Learning machine

SDKusing Microsoft.Research.Kinect.Nui; using Microsoft.Research.Kinect.Audio;

kinectRuntime = new Runtime(); kinectRuntime.Initialize(RuntimeOptions.UseDepthAndPlayerIndex | RuntimeOptions.UseSkeletalTracking | RuntimeOptions.UseColor);

INITIALISATION DU SDKDémonstration

Agenda SDK & Architecture Buffer vidéo Buffer de profondeur Suivi de squelettes Gestion du son

Buffer vidéo Résolutions :

640x480 1280x1024

Formats : RGB YUV

Données fournies au travers d’un stream

Evénementiel / Pooling

Buffer vidéopublic class ColorStreamManager { public BitmapSource ColorBitmap { get; private set; } public void Update(ImageFrameReadyEventArgs e) { PlanarImage Image = e.ImageFrame.Image; ColorBitmap = BitmapSource.Create(Image.Width, Image.Height, 96, 96, PixelFormats.Bgr32, null, Image.Bits, Image.Width * Image.BytesPerPixel); } }

AFFICHAGE DU FLUX VIDEO

Démonstration – Kinect Light Sabre

Agenda SDK & Architecture Buffer vidéo Buffer de profondeur Suivi de squelettes Gestion du son

Buffer de profondeur Résolutions

320x240 80x60

Données sous forme de stream Evénementiel / Pooling Stockage sur 13 bits

10 bits pour la distance en millimètres depuis le capteur

3 bits pour donner l’index de la personne reconnue

AFFICHAGE DU FLUX DE PROFONDEUR

Démonstration – Kinect Keyboard Simulator

Agenda Architecture Buffer vidéo Buffer de profondeur Suivi de squelettes Gestion du son

Suivi des squelettes Reconnaissance immédiate Evénementiel / Pooling 4 squelettes détectés

Chaque squelette donne sa position

Suivi des squelettes 2 squelettes suivis (tracked)

Liste de joints (points de contrôles) Chaque position donne également sa

qualité (.w entre 0 et 1) Notion de TrackingID

Points de contrôles

Suivi des squelettes Service de filtrage des données

Correction Lissage

kinectRuntime.SkeletonEngine.TransformSmooth = true;var parameters = new TransformSmoothParameters{ Smoothing = 1.0f, Correction = 0.1f, Prediction = 0.1f, JitterRadius = 0.05f, MaxDeviationRadius = 0.05f};kinectRuntime.SkeletonEngine.SmoothParameters = parameters;

SUIVI DU SQUELETTEDémonstration - Kinect Keyboard Simulator

Agenda Architecture Buffer vidéo Buffer de profondeur Suivi de squelettes Gestion du son

Gestion du son Kinect c’est aussi:

Un groupe de 4 microphones (Microphone array)

Des algorithmes de • Réduction du bruit ambiant• Annulation de l’écho

Beamforming :• Tracking de la source sonore

Compatible avec Microsoft Speech API

Pour aller plus loin http://msdn.microsoft.com/fr-fr/windows/

sdk-kinect http://blogs.msdn.com/b/eternalcoding/

archive/2011/06/14/fr-prenez-le-contr-244-le-avec-kinect-pour-windows-sdk.aspx

http://channel9.msdn.com/coding4fun/kinect

http://msdn.microsoft.com/fr-fr/windows/sdk-kinect

Programme de l’après-midi Kinect 2D et détection de la main

Mitsu Furuta / SENSORIT Applications Kinectées, l’interaction à portée de main

Thierry Bouquain & Pierres-Yves Gardette / UCAYA Intégration de Kinect SDK pour le pilotage dans une scène

3D temps réel Benoit Laut / BEWISE

Kinect, Squelette et animations 3D Simon Ferquel / INFINITE SQUARE

Une vision de la visio-conférence du futur Niels Freier / WYGWAM

Ardrone & Kinect Niels Freier & Mickael Thumerel / MS LABS EPITECH

Bière/Pizza

Questions ?

Gagnez de superbes tee-shirts!

Résolution minimale du buffer de profondeur?

Gagnez de superbes tee-shirts!

Fréquence de rafraichissement de la vidéo en 1280x1024

Gagnez de superbes tee-shirts!

Donner les 3 valeurs possibles du TrackingState d’un squelette

Gagnez de superbes tee-shirts!

Combien de bits sont utilisés par pixel dans le buffer de profondeur

pour identifier l’utilisateur courant ?

Gagnez de superbes tee-shirts!

Par quoi faut-il masquer 13bits pour obtenir les 3 bits de poids faible

Gagnez de superbes tee-shirts!

Combien de points de contrôles par squelette ?

Gagnez de superbes tee-shirts!

Nom de l’artiste qui réalise les dessins de nos tee-shirts

Gagnez de superbes tee-shirts!

Combien de développeurs présents aujourd’hui