SVEUČILIŠTE U ZAGREBU
FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA
Seminar iz kolegija Računalna forenzika
ANALIZA RAW FORMATA SLIKE
Mihael Varga
Zagreb, siječanj 2018.
Sadržaj
1. Uvod ................................................................................................................................... 2
2. Proces nastanka slike izvornog formata ............................................................................. 3
3. Opis i analiza izvornog formata slike ................................................................................. 4
3.1 Problematika analize izvornog formata ....................................................................... 4
3.2 Najčešći tipovi izvornog formata i njihov opis ........................................................... 4
3.3. Nikon Electronic Format RAW Image (.nef) .................................................................. 5
4. Usporedba izvornog formata s .jpeg formatom .................................................................. 8
4.1. Prednosti izvornog formata nad .jpeg formatom ............................................................. 8
4.2. Nedostaci izvornog formata nad .jpeg formatom ............................................................ 9
5. Zaključak .......................................................................................................................... 10
6. Literatura .......................................................................................................................... 11
2
1. Uvod
Izvorni (engl. raw) format slike je oblik podatkovnog zapisa koji sadrži minimalno (ili
nimalo) obrađene informacije o slici dobivene sa senzora kamere. Uz informacije o slici on
također sadrži metapodatke koji opisuju format karakterističan za baš tu sliku. Izvorni format
slike zapravo je samo skup podataka (bitova informacija) i ne smatra se pravim formatom.
Takav zapis se tek nakon obrade i pohrane u neki drugi oblik (npr. .jpeg ili .tiff) može nazvati
slikom. Iz toga razloga se izvorni zapis naziva digitalnim negativnom. Naziv digitalnog
negativa je zapravo poprilično točan pošto analogni negativ ne može direktno poslužiti kao
slika ali sadrži sve informacije da se iz njega stvori jedna, slično tome izvorni format slike može
poslužiti kao izvor informacija iz kojeg nakon obrade možemo stvoriti neki digitalni oblik slike.
Problem sa izvornim formatom slike je taj što ne postaji standardizirani format nego postoji na
stotine izvornih oblika slika. Ovaj seminar će dati primjer nekih od popularnih izvornih zapisa
poput Nikon Electronic Format RAW Image (.nef) te Canon RAW CIFF Image file (.crw)
formata, a za primjer analize biti će uzeti .nef format slike.
3
2. Proces nastanka slike izvornog formata
Digitalna slika nastaje tako da fotoni nakon otvaranja blende udaraju u senzor kamere koji
tada pretvara energiju elektromagnetskog vala (fotona) u električnu vrijednost koja opisuje
pojedini piksel senzora. Te vrijednosti se tada mogu digitalno interpretirati od strane
fotoaparata. Najčešći tip fotoaparata koji je sposoban stvoriti sliku u izvornom formatu naziva
se Color Filter Array Camera (CFA). Ovaj tip fotoaparata koristi dvodimenzionalnu mrežu
fotosenzitivnih elemenata izvedenih u CCD ili u CMOS tehnologiji. Svaki fotosenzitivni
element predstavlja jedan piksel konačne slike. Problem je u tome što svaki element generira
naboj koji je direktno proporcionalan količini fotona koje je udarilo u njega. Fotosenzitivni
element nije osjetljiv na pojedinu valnu duljinu te ne „razlikuje boje“ – on vidi u sivim
tonovima. Kako bi se omogućila rekonstrukcija slike u boji potrebno je ispred senzora staviti
filtar koji propušta samo boje određene valne duljine na određeni fotosenzitivni element.
Najčešći tip takvog filtra je Bayernov filtar čija je struktura prikazana na slici 1. Ovime je
postignuto da svaki element generira naboj proporcionalan intenzitetu pojedine valne duljine
svjetlosti koja ga obasjava. Koristeći metapodatke o slici koji govore kako od RGB elemenata
slike stvoriti cjelokupnu sliku moguće je iz izvornog zapisa modificirati i izvesti sliku željenih
svojstava. Sljedeća slika prikazuje proces nastanka i obrade izvornog formata (obrada je
predočena Raw convertorom i ona se odvija u nekom od programa namijenjenih za obradu
izvornog formata poput Adobe Photoshop Lightroom-a).
Slika 1. Proces nastanka i obrade izvornog oblika slike
4
3. Opis i analiza izvornog formata slike
Ovo poglavlje bavit će se opisom izvornog formata, a time će se odmah dobiti osjećaj za
njegovu analizu. Analizu formata moguće je vršiti pomoću svakog programa koji podržava
otvaranje datoteke u obliku heksadecimalnih brojeva (npr. HxD).
3.1 Problematika analize izvornog formata
Iz aspekta forenzičke analize, analiza izvornog formata slike zahtjevna je zbog već
navedenog nepostojanja standardnog formata. Da bi stvar bila još gora, formati variraju od
serije do serije fotoaparata istog proizvođača. Ovo je uz problem obrade također problem
pohrane podataka jer kako fotoaparat s vremenom zastari, tako i podrška za obradu njegovog
formata nestaje. Iz ovog razloga forenzičke baze podataka moraju uz izvorni format sadržavati
eksponirani .tiff ili .jpeg formati iste slike. Preferencija se stavlja na .tiff format zbog njegovog
svojstva malog gubitka kvalitete. Princip dobavljanja dokaza iz izvornog formata je taj da se
on koristi kao sigurnosna kopija, a kao dokazi korišteni u istrazi se koriste eksponirani formati
koje je lakše prikazati kod prezentiranja dokaza. Digtal negative (.dng) format je jedini
prihvaćeni industrijski format koji se predlaže kao rješenje za ovaj problem, no tada bi svi
proizvođači trebali podržavati ovaj format što je radi konkurentnosti na tržištu teško postići.
3.2 Najčešći tipovi izvornog formata i njihov opis
Uz navedene .nef, .crw te .dng formate, postoje formati drugih proizvođača: Sony (.arw,
.srf, .sr2), Pentax (.pef, .ptx), Leica (.raw, .rwl,, Kodak (.dcs, .dcr) i mnogi drugi. Velika većina
nabrojanih formata se bazira na .tiff formatu i oni su neka izvedena varijanta tog formata. Iako
se pojedini formati razlikuju, postoje velika preklapanja u njima, odnosno sličnosti. Tako se
svaki format sastoji od ovih dijelova:
▪ Zaglavlje koje sadrži informacije o poretku bajtova unutar datoteke, oznake datoteke
i vrijednosti pomaka do indeksa gdje se nalaze podaci o slici.
▪ Metapodaci senzora kamere. Ti podaci potrebni su za interpretaciju podatka, a oni
moraju opisati: veličinu senzora fotoaparata, opis i atribute Color Filter Array-a
(CFA) te njegov profil boje (najčešće AdobeRGB ili sRGB).
▪ Metapodaci slike. Oni su potrebni za daljnju obradu slike pomoću računala, a
uključuju informacije o ekspoziciji, modelu objektiva, datumu i mjestu nastanka
slike, otvoru blende, ISO vrijednosti i sl. Neki formati ove metapodatke pohranjuju
u standardiziranom Exchangeable image file format (.exif) formatu.
▪ Sažeti prikaz slike (engl. thumbnail)
5
▪ Puni prikaz slike u .jpeg formatu korišten za prikaz na LCD zaslonu fotoaparata.
▪ U slučaju uzastopnih snimaka (engl. Continuous shooting mode) podaci o poretku
slika bez obzira na njihov naziv (radi lakšeg razvrstavanja).
▪ Izvorni zapis informacija sa senzora kamere
Od gore nabrojanih dijelova izvornog formata potrebno je reći nešto o samom zapisu
podataka sa senzora. Svaki fotosenzitivni element predstavljen je 12 ili 14 bitnom vrijednosti
što znači da taj podatak može reprezentirati jednu od 4096, odnosno 16384 nijansi boje. Boje
koje pojedini piksel reprezentira su crvena, plava i zelena. Postoje 2 tipa zapisa podataka sa
senzora: podatak bez i podatak s kompresijom. Podatak s kompresijom zadržava većinu
informacija te odbacuje samo podatke u desnom području histograma (Whites). Ova kompresija
omogućuje uštedu od oko 25% memorije, ali ukoliko je slika presvijetla („spaljena“) izgubljena
je većina podataka. Podaci bez kompresije ne odbacuju nikakve informacije.
3.3. Nikon Electronic Format RAW Image (.nef)
Izvorni .nef format zasniva se na .tiff formatu i najčešće se sastoji od dva IFD-a (engl. Image
File Directory). Analizirani format je korišten od fotoaparata serije Nikon D100. Format
započinje zaglavljem koje je zapravo standardno .tiff zaglavlje.
Tablica 1. Izgled zaglavlja .nef formata
Pomak Duljina Tip Opis Vrijednost
0x0000 1 short Poredak bajtova Najčešće 0x4D4D - "MM", osim
za E5700 ( 0x4949 - "II" )
0x0002 1 short TIFF magični broj 0x2a
0x0004 1 long TIFF pomak 8
0x0008 IFD primarni IFD
Nakon zaglavlja smješten je prvi (primarni) IFD, On se nalazi na adresi (pomaku) iznosa 8
te opisuje sažeti prikaz slike (thumbnail), no neke informacije sadržane u njemu odnose se na
izvornu sliku. Opis cijelog IFD-a za potrebe ovog rada nije primjeren stoga će biti opisani samo
njegovi najbitniji dijelovi. Prikaz i opis svih IFD-ova može se vidjeti u [6.], odnosno u poglavlju
NEF file layout.
6
Bitnije stavke koje se nalaze u primarnom IFD-u:
▪ Opis sažete slike: rezolucija, oblik kompresije, broj bitova po uzorku piksela, broj
uzoraka koji predstavljaju piksel, orijentacija slike
▪ Proizvođač i model fotoaparata, verzija firmware-a
▪ Vrijeme okidanja slike
▪ Relativni pomak do sekundarnog IFD-a koji opisuje cijelu sliku (najbitnije) – ovaj
podatak nalazi se na adresi 330
▪ Pokazivač na EXIF IFD (nalazi se na adresi 34665)
Sekundarni IDF smješten je na pomaku (adresi) od 1570, odnosno na vrijednosti koja je
upisana u polju pomaka 330. Unutar ovog IDF-a nalazi se opis slike i njezini izvorni podaci.
Bitnije stavke sekundarnog IDF-a su:
▪ Opis cijele slike: visina i širina u pikselima, koliko bitova opisuje pojedini piksel, oblik
kompresije, fotometrička interpretacija (opis filtera boje), broj uzoraka po pikselu,
orijentacija slike
▪ Vrijednost pomaka do izvornih podataka o pikselima
▪ Broj odjeljaka sadržanih u bloku unutar kojeg su pohranjeni podaci (engl. raster block)
▪ Veličina bloka u bajtovima
▪ Horizontalna i vertikalna rezolucija slike izražena u inčevima
▪ Veličina i tip filtera boje te raspored filtriranih boja unutar matrice filtera; npr. segment
Bayernovog filtra prekriva 4 piksela (2x2) a raspored propuštenih boja je: G-R-B-G
Exchangeable image file format (EXIF) IFD sljedeći je IFD koji sadrži metapodatke o
fotografiji poput vremena ekspozicije, otvoru blende, da li je korištena bljeskalica ili ne, fokalna
udaljenost, CFA raspored, tip ekspozicije, tip balansa bijele boje i sl. Unutar EXIF IFD-a nalazi
se vrijednost pomaka do Maker Note-a.
Maker Note je zakonom zaštićen blok podataka unutar izvornog zapisa. Unutar njega nalazi
se popis svih postavki fotoaparata korištenih kod nastanka slike te se na ovaj blok nadodaju
podaci od strane software-a pomoću kojeg se naknadno obrađuje slika (engl. Capture Editor
Data).
Uz opis svih IDF-ova potrebno je reći nešto i o zapisu informacija sa senzora (engl. Raster
Data). Raster Data se najčešće kodira kao 12 bitna vrijednost. Ovim podatkom može se ugrubo
odrediti veličina slike rezolucije od npr. 4928 x 3264 piksela: 4928 * 3264 * 12 / 8 = 23,0097
MB. Informacije su pohranjene tako da ne postoji redundantnih 4 praznih bitova kao posljedica
razlike do 16 bitova nego se 12 bitne vrijednosti nadovezuju tako da 10 uzoraka piksela čini
7
120 bitova, odnosno 15 bajtova. Nakon svakog petnaestog bajta dolazi padding bajt kao bajt
koji zaokruži blok na 16 bajtova. Kako su podaci pohranjeni u obliku „redaka“ nakon svakog
retka dolazi 10 padding bajtova. Parni redovi sadrže bajtove s informacijama o ovim bojama:
G-R-G-R-G-R, a neparni sadrže ovu sekvencu: B-G-B-G-B-G. Razlog većine informacije o
zelenoj boji je ta što ljudsko oko raspoznaje puno više tonova zelene boje nego ostalih. Ovo je
također razlog zelenkaste boje samog senzora kad ga se pogleda golim okom.
8
4. Usporedba izvornog formata s .jpeg formatom
Ovo poglavlje reći će ponešto o prednostima i nedostacima svakog formata. Razlog zašto
je jpeg uzet kao format za usporedbu jer je jedan od veoma često korištenih formata. Sljedeća
slika daje usporedbu .jpeg slike nastale korištenjem standardnih postavka i obrađene izvorne
slike. Vidljiva je veća oštrina i kontrast na izvorno (desnoj) slici.
Slika 2. Usporedba slike u .jpeg i izvornom formatu.
4.1. Prednosti izvornog formata nad .jpeg formatom
▪ Izvorni format sadrži 12 ili 14 bitni zapis pojedinog piksela (212 nijansi svake od
osnovne boje ili 68 milijardi mogućih konačnih boja), u odnosu na .jpeg koji sadrži 8
bitni zapis (256 nijansi ili 16 milijuna mogućih boja)
▪ Velik dinamički raspon koji omogućuje dobivanje detalja iz svijetlih i tamnih dijelova
slike u odnosu na .jpeg gdje su ti detalji izgubljeni tokom kompresije
▪ Iako fotoaparat nudi mogućnost izmjene nekih postavki prilikom slikanja (npr. oštrina,
balans bijele boje), uvijek je moguće naknadno promijeniti te postavke kod obrade
(osim ako se ne radi o fizičkim prilikama nastanka slike poput otvora blende i sl.).
Slike .jpeg formata obrađene su od strane fotoaparata i ukoliko je neka od postavki
krivo namještena nemoguća je naknadna izmjena iste
9
▪ Izvorni format nije podložan nikakvih artefaktima koji nastaju kao posljedica
kompresije. S druge strane kompresija .jpeg formata znači i gubitak detalja unutar slike
i pojavu artefakata (pogotovo na mjestima brze izmjene kontrasta)
▪ Mogućnost korištenja boljih algoritama izoštravanja slike kod njezine obrade.
▪ Nakon obrade veći kontrast i manje pozadinskih nečistoća pruža bolju mogućnost
analize objekata na slici (npr. otisaka prsta)
4.2. Nedostaci izvornog formata nad .jpeg formatom
▪ Naknadna obrada izvornog oblika zahtijeva puno vremena
▪ Slike u izvornom formatu su puno veće od onih u .jpeg formatu. Kao posljedica toga
potrebno je puno veći prostor za pohranu originala.
▪ Već naveden nedostatak standardnog izvornog formata
▪ Izvorni format nije pogodan za rukovanje unutar dokumenata, za razmjenu slika i sl.
10
5. Zaključak
Izvorni format kao format zapisa slike u forenzičkom smislu pruža mogućnost analize
detalja koje nisu mogući kod standardnog .jpeg zapisa slike. Svojstvo zadržavanja svih
informacija i zapisa bez gubitaka ponekad može biti ključan faktor za izvlačenje informacija iz
sjena ili jako osvjetljenih dijelova slika. Razina kontrasta i malog pozadinskog šuma unutar
slike dobra je za određivanja kontura nekog detalja poput otiska prsta ili za određivanje nekih
drugih dimenzija predmeta koji se nalaze unutar slike. S druge strane izvorni formati su
nespretni za obradu, zahtijevaju mnogo vremena za procesuiranje i količina podataka u njima
zauzima mnogo memorije u arhivima. Nepostojanje univerzalnog izvornog formata (bar za
sada) je problem neprenosivosti ovih informacija te pojedini formati s vremenom postaju
zastarjeli. Najpraktičnije ispada iz originala slike izvući sve potrebne informacije te njega
pospremiti u .tiff formatu kako bi dokazi ostali očuvani.
11
6. Literatura
[1.] https://www.cambridgeincolour.com/tutorials/raw-file-format.htm
[2.] https://en.wikipedia.org/wiki/Raw_image_format
[3.] http://www.evidencemagazine.com/index.php?option=com_content&task=
view&id=327
[4.] http://www.evidencemagazine.com/index.php?option=com_content&task=
view&id=1619
[5.] https://digital-photography-school.com/12-bit-versus-14-bit-raw-which-is-right-for-
you/
[6.] https://hwiegman.home.xs4all.nl/fileformats/nef/NEF.pdf
https://www.cambridgeincolour.com/tutorials/raw-file-format.htmhttps://en.wikipedia.org/wiki/Raw_image_formathttp://www.evidencemagazine.com/index.php?option=com_content&task=view&id=327http://www.evidencemagazine.com/index.php?option=com_content&task=view&id=327http://www.evidencemagazine.com/index.php?option=com_content&task=view&id=1619http://www.evidencemagazine.com/index.php?option=com_content&task=view&id=1619https://digital-photography-school.com/12-bit-versus-14-bit-raw-which-is-right-for-you/https://digital-photography-school.com/12-bit-versus-14-bit-raw-which-is-right-for-you/https://hwiegman.home.xs4all.nl/fileformats/nef/NEF.pdf