עקיבה אחר מטרה באמצעות עקיבה אחר מטרה באמצעות אלגוריתםאלגוריתם
Mean-ShiftMean-Shift::מגישיםמגישים
ספי פרידמןספי פרידמןאייל אפרתאייל אפרת
: : מנחהמנחהמר אריה נחמנימר אריה נחמני
מכון טכנולוגי לישראל - הטכניון TECHNION - ISRAEL INSTITUTE OF TECHNOLOGY
הפקולטה להנדסת חשמלהמעבדה לבקרה ורובוטיקה
22
תוכן עניינים תוכן עניינים
מוטיבציהמוטיבציהמטרות הפרויקטמטרות הפרויקטדרכי הפתרוןדרכי הפתרוןתיאור המערכתתיאור המערכתשיפורי מערכתשיפורי מערכתתפקוד המערכתתפקוד המערכתסיכום ומסקנותסיכום ומסקנות
33
מוטיבציהמוטיבציה
:עקיבה אחר עצמים בסרטים. עקיבה אחר עצמים בסרטים.מטרה:מטרה
המתעוררות בעקיבה בווידאו? המתעוררות בעקיבה בווידאו? הבעיות הבעיותמהןמהן ראות לקויהראות לקויה•עצם דומה לעצם שאחריו עוקביםעצם דומה לעצם שאחריו עוקבים•הסתרה רגעית של העצםהסתרה רגעית של העצם•שינוי הגווןשינוי הגוון•זמן עיבודזמן עיבוד•
:דרוש אלגוריתם יעיל ופשוט שבאמצעותו יהיה אפשר דרוש אלגוריתם יעיל ופשוט שבאמצעותו יהיה אפשר פתרון:פתרון לעקוב אחר עצמים נעים, שיוכל להתגבר על המכשולים.לעקוב אחר עצמים נעים, שיוכל להתגבר על המכשולים.
44
מטרות הפרויקטמטרות הפרויקט
עקיבה אחר עצם נע המבוססת על אלגוריתם עקיבה אחר עצם נע המבוססת על אלגוריתם Mean-ShiftMean-Shift
התגברות על חלק מהבעיות המתעוררות התגברות על חלק מהבעיות המתעוררותבעקיבה בווידאובעקיבה בווידאו
השוואה בין מערכת העקיבה שלנו למערכת השוואה בין מערכת העקיבה שלנו למערכתהקורלציההקורלציהעקיבה המבוססת על שיטת עקיבה המבוססת על שיטת
דרכי הפתרוןדרכי הפתרון
נדון בשתי דרכי פתרון לבעיית נדון בשתי דרכי פתרון לבעיית ::העקיבההעקיבה
קורלציהקורלציה
Mean-ShiftMean-Shift
66
שיטת הקורלציהשיטת הקורלציה
בשיטה זו עוקבים אחר העצם הנע ע"י השוואת תמונת ייחוס בשיטה זו עוקבים אחר העצם הנע ע"י השוואת תמונת ייחוסלאזורים שונים בחלון החיפוש.לאזורים שונים בחלון החיפוש.
חלון החיפושתמונת הייחוס
מקדם נבדוק את האזורים השונים באזור החיפוש ונבדוק את , והעצם הנע ימצא היכן שהקורלציה היא הגבוהה קורלציה
ביותר.
האיזור הנבדק
77
מקדם המתאם של פירסון מקדם המתאם של פירסון ((NCCNCCקרוס קורלציה מנורמלת )קרוס קורלציה מנורמלת )
NCCNCC קבוצות קבוצות 22 - מדד לקשר ליניארי בין - מדד לקשר ליניארי בין מספרים – במקרה של עיבוד תמונה קבוצות מספרים – במקרה של עיבוד תמונה קבוצות
הפיקסלים. הפיקסלים. כאשר ערכים + כאשר ערכים 11- ל - ל 11ערכי המדד ינועו בין ערכי המדד ינועו בין +
+ יבטאו קשר חיובי חזק בין + יבטאו קשר חיובי חזק בין 11קרובים ל קרובים ל המשתנים. המשתנים.
: נוסחת המתאם : נוסחת המתאם,
2 2
(( )( ))cov( , )
( ) ( )
( )
X YX Y
X Y X Y
X
X i ii
E X YX Y
E X E X
E X p x
סטיית התקן:
תוחלת:
88
Mean-ShiftMean-Shift
Mean-ShiftMean-Shift שינוי התוחלת, לפיו מחשבים - שינוי התוחלת, לפיו מחשבים - את המיקום החדש של האובייקט.את המיקום החדש של האובייקט.
?תוחלת של מה?תוחלת של מה לדמות לדמותרמות אפוררמות אפורבפרויקט זה - הסתברות שיוך בפרויקט זה - הסתברות שיוך כל מדד הסתברותי אחרכל מדד הסתברותי אחר
הפעלת אלגוריתם הפעלת אלגוריתםgradient ascentgradient ascent..
99
הדגמת עקיבה בסרט באמצעות הדגמת עקיבה בסרט באמצעות Mean-ShiftMean-Shift
1010
בפרויקט זה בפרויקט זהMean-ShiftMean-Shiftיישום יישום
המידע ההסתברותי המשמש לתוחלת הוא המידע ההסתברותי המשמש לתוחלת הואהיסטוגרמת רמות אפור בסרט.היסטוגרמת רמות אפור בסרט.
מידת אפור בהיסטוגרמת הפריים מותאמת מידת אפור בהיסטוגרמת הפריים מותאמתלמידת הסתברות לפי היסטוגרמת האובייקט.למידת הסתברות לפי היסטוגרמת האובייקט.
255 גוון
גווןגווןהסתברותהסתברותהסתברות
0.020.02
0.210.21
00
255255
=ם
כוס
1
1111
בפרויקט זה בפרויקט זהMean-ShiftMean-Shiftיישום יישום
כל פיקסל באזור הסריקה מקבל מידת התאמה כל פיקסל באזור הסריקה מקבל מידת התאמהלדמות לפי מידת ההסתברות.לדמות לפי מידת ההסתברות.
גווןגווןהסתברותהסתברות
0.020.02
0.210.21
00
255255
0.210.210.10.10.050.05
0.210.210.170.170.040.04
0.170.170.10.10.10.1
פיקסלים של הפריים
בהתאם לגוון
בפיקסל היעד
מידות 0הסתברות בין
1ל-
1212
Region ofinterest
Center ofmass
Mean Shiftvector
הדגמההדגמה
1313
Region ofinterest
Center ofmass
Mean Shiftvector
הדגמההדגמה
1414
Region ofinterest
Center ofmass
Mean Shiftvector
הדגמההדגמה
1515
Region ofinterest
Center ofmass
Mean Shiftvector
הדגמההדגמה
1616
Region ofinterest
Center ofmass
Mean Shiftvector
הדגמההדגמה
1717
Region ofinterest
Center ofmass
Mean Shiftvector
הדגמההדגמה
1818
Region ofinterest
Center ofmass
הדגמההדגמה
1919
בפרויקט זה בפרויקט זהMean-ShiftMean-Shiftיישום יישום
2
1
, 2
1
ni
ii
h Gn
i
i
x xx g
hMean ShiftVector M x x
x xg
h
0.040.040.170.170.210.21
0.10.1
0.050.05
0.10.1
0.10.1
0.170.17
0.210.21
פיקסלים של הפריים
מידות 0הסתברות בין
1ל-
2
1
2
1
ni
ii
ni
i
x xx g
h
x xg
h
מציאת מרכז כובד
2020
איתחול
Mean-Shift
העלאתהסרט
סימוןהדמות
היסטגרמות יצירתמתאימות ראשוניות
יצירת היסטוגרמות
חדשות
עדיף לעבור
סימון ומעבר למיקום המשוערך
החדש
הפריים הצגתהראשון
מעברפריים
מעבר למיקום המשוערך החדש
עדכון ההיסטגרמות
עדיףלהישאר
תיאור סכמתי של המערכתתיאור סכמתי של המערכת
עדיף לעבור
עדיףלהישאר
עדיף עדיף לעבורלעבור
עדיףעדיףלהישארלהישאר
2121
בין השורותבין השורות
מההיסטוגרמה מורידים את השפעות הרקע מההיסטוגרמה מורידים את השפעות הרקע..היסטוגרמת הרקעהיסטוגרמת הרקעהקרוב לדמות, לפי הקרוב לדמות, לפי
בין הפריימים. בין הפריימים.ההיסטוגרמה מתעדכנתההיסטוגרמה מתעדכנת החלקה החלקה מידת ההסתברות המופקת עוברת מידת ההסתברות המופקת עוברת
::גרעיניתגרעינית בשיטה זו ערך הפונקציה בכל נקודה נמדד בשיטה זו ערך הפונקציה בכל נקודה נמדד
בהשפעה יחסית לסביבה הקרובה, כאשר ישנה בהשפעה יחסית לסביבה הקרובה, כאשר ישנה דעיכה של השפעת נקודות רחוקות יותר.דעיכה של השפעת נקודות רחוקות יותר.
2222
יתרונות:יתרונות: ללא קשר ישיר לצורהללא קשר ישיר לצורהמציאת האובייקט מציאת האובייקט.. לא בינארית(. )לא בינארית(.מידת הסתברות מגוונתמידת הסתברות מגוונתקל למצוא קל למצוא( באופן דיסקרטי על מחשב. באופן דיסקרטי על מחשב.קל למימושקל למימוש
חסרונות:חסרונות: ,אובייקטים דומים מבחינת הרכב רמות אפור, אובייקטים דומים מבחינת הרכב רמות אפור
ושונים לחלוטין בצורה, יכולים לבלבל את ושונים לחלוטין בצורה, יכולים לבלבל את העקיבה.העקיבה.
אובייקט המצוי בסביבה דומה לו מבחינת הרכב אובייקט המצוי בסביבה דומה לו מבחינת הרכברמות האפור יכול להיחשב כבלתי נראה.רמות האפור יכול להיחשב כבלתי נראה.
למה דווקא היסטוגרמה?למה דווקא היסטוגרמה?
2323
0 10 20 30 40 50 60 70 80 90 100-20
0
20
40
x
y
SourceRegression )exp` smooth(Regression )double exp` smooth(source with noise
0 10 20 30 40 50 60 70 80 90 100-100
-50
0
50
100
Frame Number
Dire
ctio
n F
orec
ast
)deg
rees
(
מיצוע אקספוננציאלי רגיל לעומת מיצוע אקספוננציאלי רגיל לעומת מיצוע אקספוננציאלי כפולמיצוע אקספוננציאלי כפול
2424
0 5 10 150
2
4
6
8
10
SD
Ave
rage
Dis
tanc
e
)9.8,5.9499(
exp` smoothing
double exp` smoothing
.כשסטיית התקן קטנה עדיף המיצוע האקספוננציאלי הכפול. כשסטיית התקן קטנה עדיף המיצוע האקספוננציאלי הכפול.כשסטית התקן גדולה עדיף המיצוע הרגיל.כשסטית התקן גדולה עדיף המיצוע הרגיל
.נראה בהמשך כיצד זה משתלב במערכת שלנו.נראה בהמשך כיצד זה משתלב במערכת שלנו
מרחק ממוצע לעומת סטיית תקןמרחק ממוצע לעומת סטיית תקן
2525
שיפורי המערכת לאלגוריתם הרגילשיפורי המערכת לאלגוריתם הרגיל
.שימוש בהיסטורית היסטוגרמת העצם.שימוש בהיסטורית היסטוגרמת העצם
.שימוש במהירות העצם הנע.שימוש במהירות העצם הנע
2626
היסטורית היסטוגרמת העצםהיסטורית היסטוגרמת העצםעל על ולא ולאנסתמך על היסטורית ההיסטוגרמותנסתמך על היסטורית ההיסטוגרמות
ההיסטוגרמה עצמה.ההיסטוגרמה עצמה. כי כי רגילרגיל מיצוע אקספוננציאלימיצוע אקספוננציאלינבצע על ההיסטוגרמה נבצע על ההיסטוגרמה
ברצוננו לשמור על אופי ההיסטוגרמה באופן מתון. ברצוננו לשמור על אופי ההיסטוגרמה באופן מתון.
יתרונות:יתרונות:.עוזר במקרים של השתנות הרכב גווני האובייקט.עוזר במקרים של השתנות הרכב גווני האובייקט עוזר במקרים שישנן הסתרות חלקיות/מלאות של עוזר במקרים שישנן הסתרות חלקיות/מלאות של
העצם הנע.העצם הנע..כל היתרונות הקיימים בהיסטוגרמה.כל היתרונות הקיימים בהיסטוגרמה.קל למימוש איטרטיבי ולא כבד במשאבים.קל למימוש איטרטיבי ולא כבד במשאבים
2727
שימוש במהירות העצם הנעשימוש במהירות העצם הנע מיצוע אקספוננציאלי כפולמיצוע אקספוננציאלי כפולנבצע על מיקום האוביקט נבצע על מיקום האוביקט
מכיוון שאנו מניחים שהתנועה תהיה בעלת סטיות מכיוון שאנו מניחים שהתנועה תהיה בעלת סטיות קטנות עם מגמתיות די ברורה של המיקום.קטנות עם מגמתיות די ברורה של המיקום.
מתחילים איטרציות מתחילים איטרציותMean-ShiftMean-Shift.מהמיקום המשוער. מהמיקום המשוער
יתרונות:יתרונות: זיהוי נכון ומהיר יותר באיטרציות זיהוי נכון ומהיר יותר באיטרציותMean-ShiftMean-Shift.. מקדימים תרופה למכה" במקרה של מקסימום מקומי "מקדימים תרופה למכה" במקרה של מקסימום מקומי"
אחר קרוב למקסימום המתאים לדמות.אחר קרוב למקסימום המתאים לדמות..קל למימוש איטרטיבי ולא כבד במשאבים.קל למימוש איטרטיבי ולא כבד במשאבים
2828
תפקוד המערכתתפקוד המערכת
נציג מספר סרטים שהרצנו על מערכות שונות:נציג מספר סרטים שהרצנו על מערכות שונות:
הקורלציההקורלציהמערכת מעקב המבוססת על שיטת מערכת מעקב המבוססת על שיטת.. מערכת מעקב המבוססת על מערכת מעקב המבוססת עלMean-ShiftMean-Shift ללא ללא
שלנו. שלנו.שיפורי המערכתשיפורי המערכת מערכת מעקב המבוססת על מערכת מעקב המבוססת עלMean-ShiftMean-Shift עם עם
שלנו. שלנו.שיפורי המערכתשיפורי המערכת
2929
מערכת התאמת קורלציהמערכת התאמת קורלציה
3030
ללא שיפורים ללא שיפוריםMean-ShiftMean-Shiftמערכת מערכת
3131
עם שיפורים עם שיפוריםMean-ShiftMean-Shiftמערכת מערכת
3232
סיכוםסיכום לבדה אינה מסוגלת להתמודד לבדה אינה מסוגלת להתמודד הקורלציההקורלציהשיטת שיטת
עם מספר גופים "דומים" קרובים והסתרות.עם מספר גופים "דומים" קרובים והסתרות. עקיבת ווידאו באמצעות אלגוריתם עקיבת ווידאו באמצעות אלגוריתםMeanShiftMeanShift
בלבד מניבה תוצאות לא טובות ביחס לשיטתבלבד מניבה תוצאות לא טובות ביחס לשיטת..הקורלציההקורלציה
ניתן לשפר את אלגוריתםניתן לשפר את אלגוריתם Mean-ShiftMean-Shift הרגיל הרגיל עם תוספים, המשפרים את ביצועי המערכת עם תוספים, המשפרים את ביצועי המערכת
לאין ארוך. לאין ארוך. אלגוריתם אלגוריתםMean-ShiftMean-Shift פחות משאביםפחות משאבים צורך צורך , ,
ומתאים יותר לעבודה בזמן אמת.ומתאים יותר לעבודה בזמן אמת.
3333
תודותתודות
תודה רבה למר אריה נחמני מנחה הפרויקט תודה רבה למר אריה נחמני מנחה הפרויקטולצוות המעבדה קובי קוחי ואורלי וויגדרסון.ולצוות המעבדה קובי קוחי ואורלי וויגדרסון.
3434
שאלות ?