UAV Image RecognitionTechnology and Applications

The UT UAV GroupCockrell School of EngineeringThe University of Texas at Austin

Harmony Mones‐MurphyChockalingam Viswanathan

Tejas Kulkarni

What is a UAV?

• The Department of Defense Dictionarydefines a UAV as:A powered, aerial vehicle that does not carry a human operator, uses aerodynamic forces to provide vehicle lift, can fly autonomously or be piloted remotely, can be expendable or recoverable, and can carry a lethal or nonlethal payload. 

Driving Technology• Powered heavier than air flight• Radio control (R/C)• Autopilots• GPS• Imagery systems• High density power batteries• Long range and low‐power micro radio devices• Miniaturized parts• Wireless networks• Powerful micro‐processors

HISTORICAL FIRSTS

1898 1933

1903

1912

1918 1959

1960

1898: First demonstration of radio‐control 

Nikola Tesla’s “Teleautomaton,” a radio‐control boat 

Electrical Exposition at Madison Square Garden

1912: First autopilot

Elmer and Lawrence Sperry

• A gyrostabilizer hydraulically operated the elevators and rudder.

• Allowed the aircraft to fly straight and level without pilot input.

Curtiss B‐2

1918: First radio‐controlled unmanned flight

Curtiss‐Sperry Aerial Torpedo

• Forerunner of the modern cruise missile. 

1959: First unmanned reconnaissance aircraft

Northrop Radioplane SD‐1 Falconer/Observer

TYPES OF UAVS

Fixed‐Wing

Northrop Grumman RQ‐4 Global Hawk

Rotorcraft

Helicopter: Northrop Grumman MQ‐8 Fire Scout

Quadcopter Tiltrotor: Bell Eagle Eye

PAYLOADS

Electro‐optic Payload Systems

• Optical Cameras• Low‐light‐level 

(LLL) Cameras• Thermal Imagers

Radar Imaging Payloads

• Synthetic Aperture Radar(SAR)

Dispensable Payloads

• Civil ‐ Pesticides

• Military – Missiles

UT UAV

Our Team

• Undergraduate• Interdisciplinary• Student leadership

AUVSI Competition

• Student UAS Competition in Maryland

• Reconnaissance mission

• Fourth year of participation

• 1st in Autonomous Target Recognition in 2010 

Phoenix II

Imagery

AvionicsAirframe

UT UAV Overview• Our Implementation

– Target Detection– Target Analysis– Position Determination

Target Characteristics

• Position (LLA) • Background Shape• Background Color• Alphanumeric

Character• Alphanumeric Color• Orientation

4 to 8 feet

4 to 8 feet

Target Detection

• Color‐based approach– Outlier image

• Exploit target attributes– Size, aspect ratio

• Implemented on DSP– Texas Instruments C6748

Background Image

• Represent image  in 3‐D color space– , 

• Image contains background and foreground

Foreground Image

• Average RGB pixels in frame

• Compute distance from mean• Distance threshold determines potential targets

0 50 100 150 200 2550

0.02

0.04

0.06Red Plane

Per

cent

0 50 100 150 200 2550

0.02

0.04Green Plane

Per

cent

0 50 100 150 200 2550

0.02

0.04

Pixel Intensty

Blue Plane

Per

cent

Outlier Image

• Potential targets highlighted in oultlierimage

Original Image Outlier Image

Binary Image

• Remove noise ‐ windowed median filter• Label objects ‐ connected component

Binary Image Label Image

Target Analysis

CroppedImage

Segmentation Skeleton BoundingRectangle Rotate Compare

Target Detection Performance• Tested on scaled airfield and recorded video– Robust to trees, runways– Poor at detecting some colorsSpecification Performance

Speed 10 frames per second

Detection Accuracy* 85%

False Positive Rate 10%

* Accuracy = ratio of targets detected to total number of targets

Results

Legend:      Correct      Incorrect       Marginally Incorrect 

Target Position Determination

• Convert image coordinates to absolute position

• Position Accuracy– Maximum allowable error – 150 feet– Desired error – less than 50 feet

• Monte Carlo Error Analysis– Sweep camera 60 degrees in all directions from the vertical

– Estimate standard deviation of error

Monte Carlo Error Analysis

-750 -500 -250 0 250 500 750 1000-1000

-750

-500

-250

0

250

500

750

1000Error Analysis (500 feet altitude)

feet

feet

Standard Deviation (feet)

15

20

25

30

35

40

45

System Overview

Triangle J Purple

Yellow NW Lat Lon

Sony FCB EX‐980S 

TexasInstruments 

C6748

Target AnalysisLabVIEW

Plans for 2012

• Communication– Switch to Wifi (802.11N)

• Digital camera (DSLR)

• Weight reduction

Why UAVs?

• UAVs are suited for doing the “dull, dirty and dangerous” tasks of everyday life.

Applications of UAVs in Texas

• Oil & gas• Wildfires• Ranching

Oil & Gas

Use as a method to collect and transmit data between rigs

Use to check pipelines for leaks 

Wildfires

Bastrop County Wildfire

Aid Firefighters with real time information and firefighting 

capability. 

Ranching

Check fences for holes

Use to track cattle/deer

Spraying crops with pesticide and fertilizer, monitoring crops, soil, moisture, and pest conditions, and insect sampling

Safety

• Due to safety concerns there are strict regulations regarding the use of UAV’s in unrestricted airspace throughout the world. 

Air Systems Lab

• All the work done in the Air systems lab are undergraduate student projects, for various competitions. 

Q&A