EKSTRAKSI SUARA SARON BERBASIS TIME-FREQUENCY MODEL
MENGGUNAKAN MULTIDIMENSI FILTER
Yoyon K Suprapto 1
1 Jurusan Teknik ElektroInstitut Teknologi Sepuluh Nopember
Objective 2
Ekstraksi suara music Saron dari pagelaran Gamelan
Gamelan 3
Gamelan 4
Keluarga Balungan
Saron dari berbagai gamelan
Konstruksi
Pengaruh Kekerasan pukulan
Pagelaran Gamelan
Gamelan simulasi dan sebenarnya1. Suara Gamelan Simulasi
2. Suara Gamelan sebenarnya
Fundamental frequency saron dari beberapa gamelan
Grafik frekwensi nada slendro
Salah mengambil sampling
Munculnya Pulse STFT
Frekwensi dasar Pelog
21086395067
193110094676
17769254335
16518654014
14047983473
12966373192
12206393011
Peking SaronDemung
Frekwensi Dasar (Hz)
Notasi Pelog
Frekwensi dasar Slendro
258912386122’
221610725291’
19319244636
16528014025
14217003493
12396133042
10805332651
Peking SaronDemung
Frekwensi Dasar (Hz)
Notasi
Musik Barat
739.98F#'369.99F#698.44F’349.22F659.24E’329.62E622.25D#'311.13D#587.32D'293.66D554.37C#'277.18C#523.25C’261.63C493.88B'246.94B466.16A#'233.08A#440.00A'220.00A
Frekwensi (Hz)NotasiFrekwensi (Hz)Notasi
)log(1200j
i
ffc =
i
m
j ff 52=
24051888.701929.97Peking 624041640.941651.16Peking 524031425.681419.97Peking 324021238.661238.42Peking 224011076.171079.18Peking 12400935.00928.96Saron 6240-1812.35799.29Saron 5240-2705.78699.90Saron 3240-3613.20612.49Saron 2240-4532.76531.11Saron 1240-5462.87462.57Demung 6240-6402.15402.27Demung 5240-7349.40348.75Demung 3240-8303.56306.68Demung 2
-9263.74266.71Demung 1Centsn
Frekwensi dasarDiharapkan (Hz)
Frekwensi dasarPengamatan (Hz)
SLENDRO mempunyai 5 tingkatan
Slendro
Pelog
Analisa suara gamelan – Kaiser FilterTime domain (hanya memperhatikan frekwensi dasar sinyal)
Kaiser Window
Mengukur lebar parameter bandfilter
970960910900Saron 6
830820760750Saron 5
740730660650Saron 3
640630560550Saron 2
560540510500Saron 1
FStop2 (Hz)FPass2 (Hz)FPass1 (Hz)FStop1 (Hz)
Analisa sinyal dengan Inverse Filter(dengan memperhatikan komponen
harmonik dan non-harmonik)
Analisa suara gamelan - STFTTime frequency domain
Analisa menggunakan time-frequency domain
STFT, ∆f dan ∆t saling bergantung, untuk 1024 sampling dan samplirate 48000 Hz, ∆f = 40 Hz ∆t= 20 msWavelet, ∆f dan ∆t saling bergantung, untuk 1024 sampling dan samplirate 48000 Hz, ∆f = 16 Hz ∆t= 0.3 msAdaptive cross corellation, ∆f tidak bergantung dengan ∆t
Original “Gamelan” Notation 8
Original Waveform 9
Original gamelan notation3 5 3 5 3 6 5 6 5 6 5 6
Estimated waveform of Saron based on the template
Estimated notation of Saron3 5 3 5 3 6 5 6 5 6 5 6
Pembuatan model Saron
Spectrum Shifting to Referenced Freq 12
Each color represents a tone signal
Time Frequency “Gamelan” Model 13
Exponential Curved fitting
tfeffA )()()( βα=
Nilai parameter α dan β
0,2610-0,59795200,3381-0,59355150,5161-0,60185100,8715-0,57755051,1012-0,52335000,7422-0,51504950,4003-0,53454900,2766-0,54724850,2115-0,54914800,1726-0,55214750,1478-0,5570470
:::αβFrequency model (Hz)
Refined by exponential curve fit
Generated sound from the template
Extracted sound is built by using cross correlation
∑−
=
+=1
0),()(1),(
J
kfkyknx
Jfnr
|)),((|max)( fnrfpf
=
Algoritma : Memisahkan suara gamelan ke masing masing notasi suara saron1. Tentukan frequensi dasar masing masing notasi suara saron dengan tabel
7.4.2. n notasi pertama3. tentukan panjang setiap windownya t.4. tentukan nilai minimum frekwensi setiap notasinya5. hitung power cross density x(n) dengan menggunakan referensi model
y(f,k)6. ulangi proses 5 sampai frekwensi setiap notasinya terjadi.7. tentukan nilai maksimum cross power density yang dihasilkan pada proses
5 dan 7.8. ulangi proses 3 untuk interval waktu yang berikutnya.9. notasi berikutnya n n + 110. ulangi proses 3 sampai seluruh notasi dikerjakan
Semua kandidate notasi di sort menurut waktu ( STFT)
Adaptive Cross CorrelationGeser f dan panjang l
Pulse dan Signal
Jenis Test suara Gamelan1. Suara gamelan simulasi penuh. Didalam membuat suara
gamelan simulasi penuh, suara setiap notasinyadihasilkan dengan program penghasil suara denganmengetahui frekwensi penyusunnya. Suara musiknyadisusun dengan mengetahui notasi lagu yang ada.
2. Suara gamelan semi simulasi. Didalam suara setiap notasidiambil dari rekamaman suara notasi gamelan yang dipukul Suara musiknya disusun oleh komputer denganmengetahui notasi lagu yang ada.
3. Suara gamelan rekaman. Direkam sebuah pagelarangamelan yang secara utuh dimainkan oleh beberapapemain yang dipandu oleh sebuah notasi musiknya.
4. Suara gamelan rekaman dengan tidak diketahui notasimusiknya.
Test Data 14
1. strong hammer struck, 2. soft hammer struck, 3. the other test data is
hammers struck area,1. the lower area2. the upper area3. the center area
How to Evaluate Test DataMean Square Error (MSE) 15
where1. F is number of time2. n is number of frequency3. is data model 4. x is test data
FN
yxMSE
F
fifi
*
)(1
2^
∑=
−=
Freq (Hz)
dt
mo
Time (ms)
Power Density
^y
Model Performance 16
0.030.040.050.04STFT
0.0050.0030.0040.004CC
CenterLowerUpperMSE
SoftStrikeareastruckhammer
How evaluate notation generating performance
Performance Evaluation
94%0215041213116453Sum
100%4447
100%1212126
93%1313145
92%111111123
86%16672
75%13341
(P)(I)(L)(R)(C)7AsliNumber
PerformInsertLostReplCorrect
65321
NotasiNotation
Estimated Notation
Type : Real Gamelan Kenong, Kendang, peking
Tempo : 42 second Saron, Bonang,
Number of Notation : 53 Name of instrument : Demung, Gong,
Name Song : Manyar Sewu Number of instrument : Orchestra
%100ilro
cp+++
=
94%85%Gamelan Orchestra
97%95%3 real gamelan
100%98%1 real gamelan
100%100%3 simulated
100%100%1 simulated
Proposed Method with template
STFTTest Type
17
Conclusion 18
1. Dengan kaiser filter, frekwensi dasar suara saron dapat dipisahkan, hanya muncul masalah delay waktu yang cukup besar.
2. Dengan inverse filter, faktor harmonik dan non-harmonik sinyal dapat dipisahkan.
3. Dengan the proposed method provide 2 – 9% improvement for real gamelan performance.
4. effectiveness of template matching for pick up specified instrument and for automatic notation.
5. Future work: eliminate sounds from other instruments
Future works : slendro, pelog dan barat
1. Slendro (5) = 1200/5 = 240 cent2. Pelog (8) = 1200/8 =150 cent matrix (240) = 1200/240 = 5 cent3. Barat (12) = 1200/12 = 100 cent