[OPTIČKO PREPOZNAVANJE GLAZBENOG CRTOVLJA]glazbeni znakovi (crescendo, decrescendo), oznake za...

2010/2011

Fakultet elektrotehnike i računarstva Dragan Lesić, Bojan Oblučar

[OPTIČKO PREPOZNAVANJE GLAZBENOG CRTOVLJA]

Generated by Foxit PDF Creator © Foxit Softwarehttp://www.foxitsoftware.com For evaluation only.

SADRŽAJ

1. Uvod ........................................................................................................................................................................................ 3

1.1. Ekstrakcija glazbenog crtovlja i nota ........................................................................................................... 4

2. Predprocesiranje .............................................................................................................................................................. 8

2.1. Uklanjanje šuma pomoću waveleta .............................................................................................................. 8

2.2. Određivanje širine linija/praznina ............................................................................................................... 9

2.3. Ekstrakcija glazbenih linija ............................................................................................................................ 10

2.3.1. Wavelet analiza .......................................................................................................................................... 10

2.3.2. Uklanjanje pozadinskog šuma............................................................................................................ 10

2.3.3. Maskiranje .................................................................................................................................................... 11

2.3.4. Razdvajanje .................................................................................................................................................. 12

2.3.5. Logičko „I“ spajanje.................................................................................................................................. 13

3. Detekcija linija ................................................................................................................................................................ 14

3.1. Opis algoritma....................................................................................................................................................... 14

3.2. Rezultati detekcije linija .................................................................................................................................. 15

3.3. Analiza rezultata .................................................................................................................................................. 18

3.3.1. Utjecaj rezolucije slike na analizu .................................................................................................... 18

4. Zaključak ............................................................................................................................................................................ 20

5. Literatura .......................................................................................................................................................................... 21


1. UVOD

Zadaća optičkog prepoznavanja glazbenih nota (eng. Optical music recognition, OMR) je prevođenje notnog zapisa zapisanog na papiru u elektronički oblik i njegovo smještanje u korisniku razumljiv kontekst. Problem optičkog prepoznavanja notnog zapisa može se razlučiti na niz manjih procesa analize i obrade kao što su prilagodba ulaznog signala, tj. slike za obradu, otklanjanje šuma, ekstrakciju superponiranih objekata, prepoznavanje objekata sa slike, njihova usporedba s postojećom bazom podataka te konačno klasifikacija u pravilan prostor tumačenja. Svaki taj problem iziskuje poseban pristup njegovom rješavanju, uz primjenu različitih metoda, od kojih niti jedna nije univerzalno dobra ili loša, već njihova primjena ovisi o različitim parametrima.

Prvi korak OMR-a je pretprocesiranje ulaznog parametra obrade, a to je slika. Slika glazbenog zapisa ovisno o načinu na koji je pretvorena u digitalni oblik, često sadrži mnoštvo zašumljenih elemenata. Skenirana slika tako može biti nakrenuta, imati tamnija i svjetlija područja itd. Na takvoj slici potrebno je označiti područje interesa obrade i odstraniti sve nepotrebne elemente. Kako je slika obično u nekom od RGB formata, a zadaća OMR-a je prepoznati oblik i poziciju simbola, uobičajeno je da se provodi konverzija slike u grayscale oblik koji tada sadrži samo podatke i iluminaciji te je na taj način slika puno povoljnija za daljnju analizu i obradu. Sljedeći postupak je otkrivanje pozicije glazbenog crtovlja. Po nakrenutosti glazbenog crtovlja, dobivaju se gotovo sve informacije o nakrenutosti same slike u obradi. Dobiva se informacija o kutu nakrenutosti linija od definirane ravnine, te se pomoću toga, zakreće i sama slika u prirodnu ravninu. Nakon postupka detekcije nekrenutosti linija slijedi postupak ekstrakcije pojedinih simbola unutar slike, tj. odvajanje elemenata kao što su glazbeno crtovlje i note radi njihove zasebne obrade. U postupku detekcije glazbenog crtovlja javlja se problem nejednolike ravnine linija, njihovih međusobnih udaljenosti, debljine linija i slično. Kada je pozicija crtovlja uspješno detektirana, moguće je obaviti ekstrakciju elemenata. Nakon ekstrakcije, pojedini elementi grupe piksela se izoliraju i objedinjavaju u predstavljajući galzbeni simbol te čiste od različitih šumnih elemenata nastalih ekstrakcijom simbola. Na taj način glazbene note se pripremaju za proces klasifikacije. U procesu klasifikacije simbola, do tada nepoznati simbol biva uspoređen s bazom poznatih uzoraka simbola, koji služe kao referenca za svrstavanje simbola u prepoznat razred. Uspješnost prepoznavanja ovisi o klasifikatoru koji se u postupku primjenjuje. Svaki klasifikator primjenjuje svojstvene računske postupke s vektorom koji


predstavlja određeni simbol te izračunava udaljenosti simbola od pojedinog razreda i na temelju najmanje udaljenosti dodjeljuje mu se pripadajući razred. Za računske usporedbe simbola koriste se Fourierovi deskriptori, bidimenszionalna Fourierova transformacija, bidimenzionalna Wavelet transformacija, a često korišteni klasifikatori su K-NN klasifikator, klasifikatori temeljeni napostupku Fisherove linearne diskriminante, klasifikatori temeljeni na Mahalonobisovoj udaljenosti itd.

Unutar ovog rada detaljno će se proučiti problem ekstrakcije glazbenog crtovlja i nota, temeljen na postupku bidimenzionalne wavelet transformacije.

1.1. EKSTRAKCIJA GLAZBENOG CRTOVLJA I NOTA

Možda najteži zadatak u prepoznavanju notnog zapisa je odvajanje nota i ostalih pomoćnih oznaka od glazbenog crtovlja. OMR predstavlja dva pristupa rješenju problema, odstranjivanje glazbenog crtovlja i prepoznavanje glazbenih simbola. Odvajanje takvih superponiranih objekata nije jednostavan problem jer glazbeni zapis na slici na kojoj se obavlja obrada, najčešće nije savršen; linije glazbenog crtovlja rijetko su kada paralelne, horizontalne, ekvidistantne ili jednake debljine. Takav nepravilan raspored značajno otežava uniformno i konzistentno rješavanje problema. Također, na slikovnom zapisu se mogu pojaviti i mnogi drugi horizontalni elementi koje se kod prepoznavanja lako može zamijeniti s crtovljem. No, najteži problem je taj da i kada se konačno detekrira položaj crtovlja ono ne može na jednostavan način biti uklonjeno, a da se istovremeno ne ukone i dijelovi ostalih simbola superponiranih na crtovlju. Glazbeno crtovlje mora se ekstrahirati bez zadiranja u ostale elemente, ili drugim pristupom, ostali objekti moraju biti segmentirani s glazbenog crtovlja na način zadržavanja položaja s obzirom na ostale simbole i samo crtovlje.

Segmentacija simbola koji se nalaze na glazbenom crtovlju dovodi do novih problema koji mnoge algoritme u raspoznavanju uzoraka čine neupotrebljivima. Problem čini sama prezentacija glazbenih nota koje mogu varirati svojom veličinom ili načinom zapisivanja od strane glazbenika, a takva reprezentacija istih tonova različitim notama te njihova muzička interpretacija je beskonačna.


SLIKA 1 PRIMJER EKSTRAKCIJE NOTNOG CRTOVLJA

Za razdvajanja takvih superponiranih objekata pokazan je interes još sredinom 20. stoljeća i od tada su napravljeni mnogi algoritmi koji se bave tematikom te za svaki takav pristup zahtijevaju određeno znanje o notnom glazbenom zapisu. Prvi takvi algoritmi sastojali su se od uklanjanja horizontalnih linija s pretpostavljenom stalnom vrijednošću razmaka između njih, na način da se uklone nizovi istovrijednosnih piksela unutar jednog reda. Godine 1982. Aoyama i Tojo predstavili su rad u kojemu se linije uklanjaju tako da se prvo napravi histogram vrijednosti piksela, red po red, te se na taj način može primijetiti skup od pet izbočina na kojima je vrijednost retka piksela veća od ostalih, a koje predstavljaju položaj linija unutar procesiranog bloka.


SLIKA 2 PRIMJER HORIZONTALNE PROJEKCIJE

Ostale metode ekstrakcije glazbenih linija zasnivaju se na Hough-ovoj transformaciji, metodi najkraćeg puta, itd.

Noviji algoritmi temeljeni su na sofisticiranijim tehnikama i alatima, poput filtriranja, rada u frekvencijskoj domeni, heuristikama itd. No, svaki pristup susreo se s nekim nedostatkom zbog kojeg ne može postati uniformnim pristupom ka problemu optičkog prepoznavanja notnog zapisa.

Relativno novija tehnika razdvajanja superponiranih objekata razvija se posljednjih 10 godina, a uključuje analizu pomoću wavelet transformacije. Waveleti su posebno pogodni za analizu slike jer za razliku od ostalih filtara i tehnika filtriranja rade u dvije domene, s neperiodičkim signalima. Dekompozicija signala na više razina glavni je princip waveleta, koji na taj način razlaže zadani signal na više pojednostavljenih razina. Obrada se zatim vrši na samim dekompozicijama signala i taj postupak krucijalan je i za algoritam za ekstrakciju glazbenog crtovlja koji je glavna tema ovog rada.

Zbog takvog načina rada nad koeficijentima iz različitih razina, wavelet tehnika upotrebljiva je i za postupke poput uklanjanja šuma, kompresije, frekvencijsko-vremenske analize signala, reduciranja dimenzije signala za računalnu obradu itd. Koeficijenti u wavelet transformaciji istovremeno objedinjuju signal, ali se i koriste kao njegova aproksimacija, koja se razlikuje ovisno o razini dekompozicije.

Za dekompoziciju slike koriste se dvodimenzionalni waveleti, a najčešće se koristi za otklanjanje šuma i kompresiju slike te najvažnije za ovaj slučaj, daje mogućnost lokaliziranja pojedinih komponenata unutar slike. Dekompozicija se obavlja u dva smjera: na visokopropusne komponente i niskopropusne komponente, u smjeru stupaca i redaka. Nakon takve dvodimenzionalne dekompozicije takve dobivene komponente mogu se


izolirati. Dobivene komponente su aproksimacija originalne slike te njezina horizontalna, vertikalna i dijagonalna komponenta. Za problem odvajanja nota i glazbenog crtovlja takav pristup savršeno odgovara: glazbeno crtovlje čini horizontalan element slike, dok su ostali simboli zapisani na njima uglavnom vertikalno, a u horizontalnom smjeru samo lokalno odmiču od središta simbola.


2. PREDPROCESIRANJE

2.1. UKLANJANJE ŠUMA POMOĆU WAVELETA

Slika glazbenog zapisa, najčešće skenirana, redovito sadržava šum što u čestim slučajevima utječe na rezultat algoritama za detekciju glazbenih linija i nota.

Kako bi umanjili vjerojatnost pogreške prilikom detekcije, odlučili smo primijeniti neku od dostupnih metoda za otklanjanje šuma. Najbolji rezultati dobiveni su pomoću wavelet razlaganja druge razine primjenom Haarovog wavelet-a. Uklanjanje šuma je izvršeno pomoću programskog paketa MATLAB koji ima ugrađeni alat sa osnovnim aplikacijama baziranim na wavelet transformaciji. Slika 3 prikazuje parametre algoritma korištene pri uklanjanu šuma.

SLIKA 3 PRIKAZ POSTAVKI ZA ODŠUMLJAVANJE SLIKE SA NOTNIM ZAPISOM POMOĆU WAVELET-A


2.2. ODREĐIVANJE ŠIRINE LINIJA/PRAZNINA

Gotovo svi algoritmi za detekciju nota i crtovlja koriste debljinu glazbenih linija (staff line height) i debljinu praznina između njih (staff space height) kao dva osnovna parametra.

SLIKA 4 PRIKAZ DEBLJINE GLAZBENIH LINIJA I PRAZNINA

Ta dva parametra se računaju sa velikom preciznošću kao najučestaliji crni i najučestaliji bijeli vertikalni niz pomoću runlength coding – RLE algoritma (Slika 5).

SLIKA 5 PRIMJER RLE KODIRANJA U HORIZONTALNOM SMJERU

Za naš algoritam, detektirane frekvencije pojedinih nizova prikazane su u dva histograma, za debljinu linija i praznina zasebno. Pomoću definiranog praga (1/3 od najveće vrijednosti u histogramu) uzete su dvije najdominantnije vrijednosti kako bi točnost i osjetljivost daljnjeg postupka detekcije bila veća.

SLIKA 6 HISTOGRAM ZA DETEKCIJU ŠIRINE GLAZBENIH CRTA I PRAZNINA MEĐU NJIMA


Slika 6 prikazuje dva histograma za detekciju glazbenih crta i praznina među njima. Apscisa histograma predstavlja širinu linije/praznine dok ordinata predstavlja njezinu učestalost u promatranoj slici. Izdvajanjem pozicije najdominantnijih vrhova, dobivaju se dva parametra koja će se koristiti u daljnjoj analizi.

2.3. EKSTRAKCIJA GLAZBENIH LINIJA

Kako bi detekcija linija bila što preciznija, elementi koji nisu dio notnog crtovlja se često nastoje ukloniti. To mogu biti glazbene note, tekst, glazbeni znakovi (crescendo, decrescendo), oznake za dinamiku, itd..

2.3.1. WAVELET ANALIZA

Za uklanjanje glazbenih elemenata u ovom radu smo koristili wavelet analizu. Najbolje rezultate smo dobili koristeći Haarov wavelet na prvoj razini razlaganja. Rezultat takvog razlaganja sastoji se od četiri komponente, od kojih smo izdvojili sljedeće tri: horizontalnu, vertikalnu i dijagonalnu. Razlaganje prikazuje Slika 7.

SLIKA 7 PRIKAZ KOMPONENTI WAVELET RAZLAGANJA

Iz slike je moguće vidjeti da horizontalna komponenta dobro izdvaja glazbeno crtovlje uz maleni udio šuma te je zbog toga korištena kao glavni izvor za daljnju obradu. Ostale dvije komponente su korištene kao maske za uklanjanje vertikalnih i dijagonalnih linija koje su zadržane u horizontalnoj komponenti.

2.3.2. UKLANJANJE POZADINSKOG ŠUMA

Kako bi se uklonio uočeni šum u prethodno promatranim komponentama, metodom praga su izdvojene samo dominantne vrijednosti za svaku komponentu zasebno. Rezultat prikazuje Slika 8. Iz slike je moguće vidjeti da pozadina gotovo više u potpunosti ne sadržava šum.


SLIKA 8 REZULTAT ODŠUMLJAVANJA KOMPONENTI

2.3.3. MASKIRANJE

Vertikalna i dijagonalna komponenta su binarizirane metodom praga (zadržane su sve vrijednosti različite od nule). Slika 9 prikazuje rezultat maskiranja.

SLIKA 9 PRIKAZ MASKIRANJA HORIZONTALNE KOMPONENTE

Slika 10 prikazuje usporedbu originalne horizontalne komponente sa komponentom dobivenom nakon uklanjanja šuma metodom praga i maskiranja. Iz slike je vidljivo da operacije napravljene nad horizontalnom komponentom uklanjaju pozadinski šum koji može utjecati na rezultate primijenjenog algoritma za detekciju linija. Osim toga, vidljivo je da su većinom uklonjeni elementi poput slova i notnih simbola, dok su na slici zadržane gotovo sve linije.


SLIKA 10 HORIZONTALNA KOMPONENTA PRIJE I NAKON UKLANJANJA ŠUMA I MASKIRANJA

2.3.4. RAZDVAJANJE

Promatrajući dobivenu horizontalnu komponentu (Slika 11), može se zaključiti da se njezine vrijednosti ponašaju poput derivacija, tj. na rubovima se nalaze vrijednosti veće ili manje od nule, ovisno o položaju ruba.

SLIKA 11 DETALJ IZ HORIZONTALNE KOMPONENTE

Razdvajanjem horizontalne komponente na pozitivne i negativne vrijednosti dobivaju se dvije slike koje sadrže isključivo gornje ili donje rubove linija. Slika 12 prikazuje rezultat razdvajanja. Iz slika se može vidjeti da se glazbene linije pojavljuju u obje slike gdje desna slika prikazuje gornje rubove linija a desna donje rubove.


SLIKA 12 SLIKE NASTALE ODVAJANJEM HORIZONTALNE KOMPONENTE NA POZITIVNU I NEGATIVNU

2.3.5. LOGIČKO „I“ SPAJANJE

Znajući da su dva ruba razmaknuta za širinu linije (stafflineheight), nad dobivenim slikama možemo napraviti niz logičkih I operacija posmicanjem jedne od slika u jediničnim koracima. Posmicanje i preklapanje se izvodi stafflineheight puta. Slika 12 prikazuje rezultat opisane operacije. Iz slike se vidi da su elementi deblji od stafflineheight, poput notnih zastavica i većine teksta, nestali. Na dobivenoj slici su, osim relativno malog šuma, zadržane samo linije koje su manje ili jednake širini notnih linija.

SLIKA 13 REZULTAT LOGIČKE I OPERACIJE POSMICANJEM STAFFLINEHEIGHT PUTA NAD SLIKAMA KOJE

PRIKAZUJE SLIKA 12


3. DETEKCIJA LINIJA

3.1. OPIS ALGORITMA

Ovdje je napisan pseudo kod algoritma za detekciju glazbenih linija.

(1) uzmi vertikalni odsječak slike širine dx = 0.5 * širina_slike

(2) horizontalno projiciraj vrijednosti odsječka (3) dva puta deriviraj horizontalnu projekciju (4) posmičnim prozorom detektiraj poziciju linija

(razlika između pozicije najviših 5 vrijednosti pozitivnog i negativnog djela derivacije mora biti manja od širine linije)

(5) Ako nije kraj slike, uzmi sljedeći vertikalni odsječak i idi na korak (2) (6) u suprotnom, klasificiraj rezultate (7) ako postoje nedetektirana područja, smanji korak dx = dx/2 i ponovi od koraka (2) nad nedetektiranim područjima (8) interpoliraj rezultate

Slika 14 vizualizira rad algoritma za detekciju glazbenih linija. Nad vertikalnim odsječkom izdvojenim iz originalne slike vrši se projekcija na ordinatu. Projicirane vrijednosti se dva puta deriviraju te nakon toga promatraju kao pozitivna i negativna vrijednost projekcije. Pomoću vertikalnog kliznog prozora (označen je crvenom bojom) jediničnim pomakom analiziraju se rezultati derivacije. Ukoliko je razlika pozicija najvećih pet vrhova u promatranom prozoru pozitivne i negativne derivacije manja od estimirane širine linije (stafflineheight), može se zaključiti da se radi o skupu glazbenih linija.

SLIKA 14 ILUSTRACIJA RADA ALGORITMA ZA DETEKCIJU LINIJA


Projekciju i njezinu drugu derivaciju za odsječak idealnih glazbenih linija prikazuje Slika 15.

SLIKA 15 PRIKAZ PROJEKCIJE I NJEZINE DRUGE DERIVACIJE NA SAVRŠENOM ODSJEČKU GLAZBENE

LINIJE

3.2. REZULTATI DETEKCIJE LINIJA

Ovdje su navedeni primjeri rezultata detekcije glazbenih linija nad tri tipa predprocesiranih slika: zasebno nad negativnim i pozitivnim djelom rezultata wavelet predprocesiranja te njihovim ujedinjenjem pomoću logičkog I. Crvene linije na slikama predstavljaju detektirane glazbene linije. Linije koje su detektirane na samim rubovima slika nisu interpolirane i prikazane zbog nepotpunosti algoritma.


SLIKA 16 REZULTAT ANALIZE NAD LOGIČKI I UJEDINJENOJ SLICI

SLIKA 17 REZULTAT DETEKCIJE NAD NEGATIVNIM DJELOM REZULTATA WAVELET PREDPROCESIRANJA


SLIKA 18 REZULTAT DETEKCIJE NAD POZITIVNIM DJELOM REZULTATA WAVELET PREDPROCESIRANJA


3.3. ANALIZA REZULTATA

Analiza rezultata je obavljena na uzorku od dvanaest slika. Zbog ograničenja resursa (prvenstveno memorije), slike su smanjene sa originalne rezolucije od 1110x1440 na 771x1000 piksela. Svaka od slika je potom pretprocesirana na prethodno opisan način (osim uklanjanja šuma wavelet analizom). Tabela 1 prikazuje rezultate analize. Iz tabele je vidljivo da greške pri detekciji postoje te da je njihov broj znatno manji za logičko „I“ ujedinjenu sliku.

TABELA 1 PRIKAZ REZULTATA ANALIZE

Ime slike Broj pogrešaka

„I“ ujedinjena Pozitivni dio w.p.

Negativni dio w.p.

Slika_01 1 1 1 Slika_02 1 0 2 Slika_03 0 0 0 Slika_04 9 >10 >10 Slika_05 1 3 2 Slika_06 3 >10 >10 Slika_07 0 2 >10 Slika_08 1 2 5 Slika_09 2 5 4 Slika_10 0 0 0 Slika_11 0 0 1 Slika_12 0 2 3

UKUPNO 18 >35 >49

Treba napomenuti da je detekcija vršena na skupu slika bez uklonjenog šuma zbog ograničenosti memorije korštenog računala. Pritom se je pokazalo da veličina slika, tj. njezina rezolucija uvelike utječe na rezultate analize. Taj zaključal je ilustiran u sljedećem poglavlju.

3.3.1. UTJECAJ REZOLUCIJE SLIKE NA ANALIZU

Kako bi ispitali utjecaj veličine slike na analizu, uzeli smo Slika_04 čija je analiza polučila najviše pogrešaka. Zbog manjka memorije, odstranili smo dio koji nije imao greške u prvotnoij detekciji kako bi mogli izvršiti analizu.

Rezultat prikazuje Slika 19. Sa slikeje vidljivo da se pri manjoj rezoluciji drastično povećava količina pogrešaka. Kod slike veće rezolucije nije došlo do niti jedne greške dok pri manjoj rezoluciji dolazi do najvećeg broja grešaka u odnosu na skup testiranih slika.


SLIKA 19 UTJECAJ REZOLUCIJE SLIKE NA DETEKCIJU GLAZBENIH LINIJA (VEĆA REZOLUCIJA GORE)


4. ZAKLJUČAK

Wavelet analiza nam može pomoći pri detekciji glazbenih linija na način da se koristi kao alat za pretprocesiranje. Tako se može smanjiti šum na slici koji često utječe na krive rezultate detekcije. Osim toga, može se koristiti za uklanjanje glazbenih simbola različitih od notnog crtovlja. Rezultat pretprocesiranja pomoću wavelet-a može se koristiti na razne načine kako bi se povećala točnost detekcije.

Analiza rezultata algoritma za detekciju glazbenih linija pokazuje da na rezultat detekcije također utječe rezolucija analizirane slike.


5. LITERATURA

[1] D. Bainbridge and T. Bell, “The Challenge of Optical Music Recognition,” Kluwer Academic, vol. 35, Number 2, 2001.

[2] H. Miyao, “Stave Extraction for Printed Music Scores,” vol. 2412/2002, 621-634, 2002.

[3] C. Dalitz, T. Karsten, M. Droettboom, I. Fujinaga, F. Pose, and B. Czerwinski, Staff Line Removal Toolkit for Gamera, 2010.

[4] C. Dalitz, M. Droettboom, B. Pranzas, and I. Fujinga, “A Comparative Study of Staff Removal Algorithms,” vol. 30, 2008.

[5] Susan Ella George, „Visual Perception of Music Notation: On-Line and Off-Line Recognition“, 2005


Date post:	08-Jun-2020
Category:	Documents
Upload:	others
View:	11 times
Download:	1 times

[OPTIČKO PREPOZNAVANJE GLAZBENOG CRTOVLJA]glazbeni znakovi (crescendo, decrescendo), oznake za...

Documents