Europeana Newspapers German infoday - Verarbeitung Digitale Zeitungen

transcript

Digitale Zeitungen –Verarbeitung in Europeana Newspapers

Information Day SBB

Berlin, 27 Februar 2014

Clemens Neudecker, KB, Twitter: @cneudecker

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp

Übersicht

• Ziele & Herausforderungen

• Zeitungen im Projekt

• Workflow & Technologien

• Fragen & Antworten

• Verarbeitung von 8 Mio. Zeitungsseiten mit OCR (UIBK)

• Verarbeitung von 2 Mio. Zeitungsseiten mit OLR (CCS)

• Erstellen von Software für NER in 3 Sprachen (KB)

• Entwicklung von Tools die den Workflow automatisieren

• Erstellen von Richtlinien und Empfehlungen (“best practices”)

Herausforderungen

• Qualität vs. Durchsatz

• Komplexität von Zeitungslayouts (Spalten, Anzeigen, Abbildungen)

• Stark schwankende Qualität der Digitalisate (Microfilm, Bitonal)

• Unterschiedliche Dateiformate, Sprachen, Alphabete

• Historische Schreibvarianten

• Klar strukturierter und weitgehend automatisierter Workflow

Die Zeitungen

Europeana Newspaper Dataset (1)

Europeana Newspaper Dataset (2)

Europeana Newspapers Dataset (3)

Europeana Newspapers Dataset (4)

Workflow

OCR @ UIBK

• OCR = Optical Character Recognition (Optische Zeichenerkennung)

• Technologien: ABBYY FineReader SDK• State-of-the-art OCR software, unterstützt Fraktur/Latin/Cyrillic out-of-the-box

• Export als METS/ALTO Paket bestehend aus Images, Metadaten & Volltext

Tools (BCT)

• BCT = Binarisation and Colour Reduction Tool

• Ziel: Konvertierung von Farb-/Graustufenscans nach 1-bit mit für OCR optimierter Methode (GPP) + JP2k

• Hintergrund: Dateigrösseder Images reduzieren umDatenmenge handhabbarzu machen (hunderte TBs)

Tools (FRT)

• FRT = File Rename Tool

• Ziel: Unterstützung der Bibliotheken bei der Daten-anlieferung – Umbenennungvon Dateien und Ordnern

• Hintergrund: Daten in der fürautomatisierte Verarbeitungnotwendigen Struktur aufbereiten

Tools (FAT)

• FAT = File Analyzer Tool

• Ziel: Check und Validierungder Datenstruktur vorAnlieferung zur Verarbeitung

• Hintergrund: Garantie füralle Beteiligten dass die Datenfür die weitere Verarbeitungin geeigneter Form vorliegen

OLR @ CCS

• OLR = Optical Layout Recognition (Optische Layouterkennung)

• Technologien: docWorks• Aufteilung der Seite nach Spalten, Artikeln, Überschriften, “Seitentypen” (Anzeigen)

• Export als METS/ALTO Paket bestehend aus Images, Metadaten & Volltext

OLR �� Artikelerkennung

NER @ KB

• NER = Named Entities Recognition

• Technologien: Stanford CRF-NER• 3 Sprachen: Deutsch, Niederländisch, Französisch

• Open source: https://github.com/KBNLresearch/europeananp-ner

• Erkennung von 3 Klassen: Person, Ort, Organisation

This project is partially funded under the ICT Policy Support Programme (ICT PSP) as part of the Competitiveness and Innovation Framework Programme by the European Community http://ec.europa.eu/ict_psp 18

Ergebnisse für NL

Model trainiert auf manuell getaggten Zeitungsseiten von 1618 - 1900.

100 Seiten mit insgesamt 183.421 Tokens (“Wörtern”)

* K-fold cross validation = 1/4 der Trainingsdaten nur für die Evaluierung

Personen Orte Organisationen

Precision 0.940 0.950 0.942

Recall 0.588 0.760 0.559

F-measure 0.689 0.838 0.671

NER vs. OCR

Danke für die Aufmerksamkeit!

Noch Fragen?

clemens.neudecker@kb.nl

Europeana Newspapers German infoday - Verarbeitung Digitale Zeitungen

Technology