#KINECTIZATEIntroducción al Kinect SDK

Fernando CortésMicrosoft Student Partner

@FerCortesFhttp://cortesfernando.blogspot.com

#KINECTIZATE

¿Qué es necesario?

• Visual Studio 2010• Kinect SDK• Hardware– 2 GB RAM– Dual-Core 2.66-GHz– USB 2.0

• Kinect

#KINECTIZATE

• EL SENSOR• CAMARA• DEPTH SENSOR• SKELETON• FACE TRACKING• AUDIO

#KINECTIZATE

EL SENSOR

#KINECTIZATE

• Color:– 12 FPS: 1280x960 RGB– 15 FPS: 640x480 Raw YUV– 30 FPS: 640x480 RGB

• Depth– 30 FPS: 80x60, 320x240, 640x480

CAMARAResoluciones

#KINECTIZATE

• Inicializar la cámara. Mediante la gestión del evento AllFramesReady sincronizaremos la imagen.

• Se nos retornará un objeto ImageFrame:– PixelDataLenght– FrameNumber– Width, Height– Timestamp

CAMARAObtener imagen

#KINECTIZATE

• Obtenemos el usuario y la distancia por cada pixel.– Fórmula distancia: int depth = depthPoint >> DepthImageFrame.PlayerIndexBitmaskWidth;– Fórmula usuario:int player = depthPoint & DepthImageFrame.PlayerIndexBitmask;

DEPTH STREAMSensor de profundidad

#KINECTIZATE

SKELETONFundamentos

#KINECTIZATE

• Array de ‘joints’ con coordenadas X,Y,Z en metros.– Realizar ‘TransformSmooth’ para reducir ruido.

• Dependiendo de nuestro Kinect:– Kinect Xbox: detecta 2 Skeleton– Kinect for Windows: detecta 4

SKELETONDibujar Skeleton

#KINECTIZATE

• Se aplica a partir del joint de la cabeza.• Detecta puntos de la cara.– No proporciona reconocimiento facial.

• Microsoft.Kinect.Tookit.FaceTracking– FaceTrackData.dll– FaceTrackLib.dll

FACETRACKINGNovedad

#KINECTIZATE

• Kinect puede utilizarse como dispositivo de entrada de audio

• Su verdadera utilidad es: SpeechRecognition

AUDIOUtilidad

#KINECTIZATE

• VisualStudio:– Express:

http://www.microsoft.com/visualstudio/en-us/products/2010-editions/visual-csharp-express

• Kinect: – Kinect SDK:

http://www.microsoft.com/en-us/kinectforwindows/develop/developer-downloads.aspx – Learning: http://www.microsoft.com/en-us/kinectforwindows/develop/learn.aspx – ToolKit: http://c4fkinect.codeplex.com/ – ToolBox: http://kinecttoolbox.codeplex.com/ – Ejemplos: http://channel9.msdn.com/coding4fun/kinect

• XNA: – http://www.microsoft.com/en-us/download/details.aspx?id=23714

• DreamSpark:– www.dreamspark.com – UC3M: https://www.inf.uc3m.es/es/msdnaa-login

ENLACES

#KINECTIZATE