{"id":181,"date":"2018-03-05T09:47:32","date_gmt":"2018-03-05T08:47:32","guid":{"rendered":"https:\/\/blogs.urz.uni-halle.de\/strickdings\/?p=181"},"modified":"2018-03-05T14:21:18","modified_gmt":"2018-03-05T13:21:18","slug":"ocropus-infrastruktur","status":"publish","type":"post","link":"https:\/\/blogs.urz.uni-halle.de\/strickdings\/2018\/03\/ocropus-infrastruktur\/","title":{"rendered":"Ocropus-Infrastruktur: Ordnersystem und Stapelverarbeitung"},"content":{"rendered":"

Im Normalfall m\u00f6chte man mehrere Bildseiten erkennen. F\u00fcr die Stapelverarbeitung ist es von Vorteil eine gewisse Infrastruktur einzurichten, damit m\u00f6glichst viele Schritte automatisch abgearbeitet werden k\u00f6nnen.<\/p>\n

Am Beginn steht eine gleichbleibende Ordnerstruktur, durch die man sich leicht bewegen kann. Manche Ordner werden von den Ocropus-Modulen selbstst\u00e4ndig angelegt, andere kann man selbst definieren. Abbildung 1 zeigt die Ordnerstrukur, mit der ich arbeite.<\/p>\n

\"Abbildung<\/a>
Abbildung 1: Ordner, Dateien, Erzeuger<\/figcaption><\/figure>\n

Im Hauptordner book<\/em> lege ich die Ausgangsdateien ab, z.B. jpg-Dateien<\/em>.<\/p>\n

\nhttps:\/\/blogs.urz.uni-halle.de\/strickdings\/files\/2018\/03\/oberordner.mp4<\/a><\/video><\/div>\n

In einem vorhergehenden Artikel<\/a> habe ich ScanTailor als Vorverarbeitungsprogramm beschrieben. ScanTailor gibt tif-Dateien<\/em> aus, standardm\u00e4\u00dfig im Ordner out<\/em>.<\/p>\n

https:\/\/blogs.urz.uni-halle.de\/strickdings\/files\/2018\/03\/out_ordner.mp4<\/a><\/video><\/div>\n

Diese Dateien lassen sich mit dem Programm mogrify<\/em> in png-Dateien<\/em> umwandeln. Ich habe das kleine Bash-Script ocr-conv<\/a><\/em> geschrieben, dass<\/p>\n

1. einen Ordner .\/ocr<\/em> erstellt (.\/ bedeutet im gleichen Verzeichnis, also book\/ocr),<\/p>\n

2. tif-Dateien<\/em>, die in einem Ordner „.\/out<\/em>“ liegen, batchartig png-Dateien<\/em> umwandelt<\/p>\n

3. diese png-Dateien<\/em> in den Ordner .\/ocr<\/em> kopiert<\/p>\n

4. diese png-Dateien<\/em> eine sechsstellige Laufnummer gibt.<\/p>\n

Damit es funktioniert muss man sich im Ordner book<\/em> befinden, mit einem Unterordner ocr<\/em> in dem die ScanTailor-tifs<\/em> gespeichert sind, dann einfach<\/p>\n

$ bash ocr-conv.bash<\/code><\/p>\n

https:\/\/blogs.urz.uni-halle.de\/strickdings\/files\/2018\/03\/ocr-conv.mp4<\/a><\/video><\/div>\n

Ist dieser Schritt erledigt, folgt die Bildsegmentierung, Texterkennung, Korrektur und der Textexport. Erkl\u00e4rungen zu diesen Schritten folgen in den n\u00e4chsten Artikeln. Hier geht es erst einmal haupts\u00e4chlich um eine funtkionierende Ordnerstruktur bzw. um eine Stapelverarbeitung.<\/p>\n

Je nachdem wie viele Bilder (und Zeilen in diesen Bildern) erkannt werden sollen, erstellen die ocropus-Module entsprechend viele Ordner und Dateien. Die Fragezeichen symbolisieren hier die Laufnummern. F\u00fcr die drei Dateien 0000001.png<\/em>, 000002.png<\/em> und 000003.png<\/em> w\u00fcrden also immer die dazugeh\u00f6rigen Ordner .\/0000001<\/em> , .\/0000002<\/em> und .\/0000001<\/em> und Verarbeitungsdateien ??????.bin.png<\/em> angelegt werden.<\/p>\n

Mit dem kleinen Script ocr-png2html.bash<\/a> laufen die Segmentierung, Texterkennung und Transformation zur html automatisch durch. Auch dieses muss sich im Hauptordner book befinden. Dann starten mit:<\/p>\n

$ bash ocr-png2html.bash<\/code><\/p>\n

Hierbei erzeugt ocropus-gpageseg<\/em> die Dateien ??????.pseg.png<\/em>, die Ordner .\/ocr\/??????<\/em> mit den darin befindlichen Dateien ??????.bin.png<\/em><\/p>\n

Das Texterkennungmodul ocropus-lpred<\/em> die dazugeh\u00f6rigen ??????.txt<\/em> und<\/p>\n

ocropus-gtedit<\/em> die Korrektur correction.html<\/em>.<\/p>\n

https:\/\/blogs.urz.uni-halle.de\/strickdings\/files\/2018\/03\/ocr-png2html.mp4<\/a><\/video><\/div>\n

Wenn man will, kann man jetzt Fehler korrigieren. Um zu schauen, ob die Ordnerstruktur konzise ist, mache ich jedoch gleich weiter mit<\/p>\n

$ ocorpus-gtedit extract correction.html<\/code><\/p>\n

Damit werden die Groundtruth-Text-Dateien ??????.gt.txt<\/em> in den Ordnern .\/ocr\/??????<\/em> erzeugt.<\/p>\n

https:\/\/blogs.urz.uni-halle.de\/strickdings\/files\/2018\/03\/gtedit-extract.mp4<\/a><\/video><\/div>\n

Mit cat<\/em> erstellt man sich zum Schluss die finale *.txt-Datei<\/em>.<\/p>\n

$ cat .\/ocr\/??????\/??????.gt.txt > ocr.txt<\/code><\/p>\n

https:\/\/blogs.urz.uni-halle.de\/strickdings\/files\/2018\/03\/cat.mp4<\/a><\/video><\/div>\n

Wie man sieht sind die Ergebnisse noch sehr schlecht. In den folgenden Artikeln gehe ich n\u00e4her darauf ein, wie man die einzelnen Module anpasst und sich eigene Erkennungsmodule trainiert, um schnellere und bessere Ergebnisse zu erzielen.<\/p>\n

 <\/p>\n","protected":false},"excerpt":{"rendered":"

Im Normalfall m\u00f6chte man mehrere Bildseiten erkennen. F\u00fcr die Stapelverarbeitung ist es von Vorteil eine gewisse Infrastruktur einzurichten, damit m\u00f6glichst viele Schritte automatisch abgearbeitet werden k\u00f6nnen. Am Beginn steht eine gleichbleibende Ordnerstruktur, durch die man sich leicht bewegen kann. Manche weiterlesen Ocropus-Infrastruktur: Ordnersystem und Stapelverarbeitung<\/span>→<\/span><\/a><\/p>\n","protected":false},"author":241,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[4],"tags":[31,3,29,30,28],"_links":{"self":[{"href":"https:\/\/blogs.urz.uni-halle.de\/strickdings\/wp-json\/wp\/v2\/posts\/181"}],"collection":[{"href":"https:\/\/blogs.urz.uni-halle.de\/strickdings\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogs.urz.uni-halle.de\/strickdings\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogs.urz.uni-halle.de\/strickdings\/wp-json\/wp\/v2\/users\/241"}],"replies":[{"embeddable":true,"href":"https:\/\/blogs.urz.uni-halle.de\/strickdings\/wp-json\/wp\/v2\/comments?post=181"}],"version-history":[{"count":9,"href":"https:\/\/blogs.urz.uni-halle.de\/strickdings\/wp-json\/wp\/v2\/posts\/181\/revisions"}],"predecessor-version":[{"id":184,"href":"https:\/\/blogs.urz.uni-halle.de\/strickdings\/wp-json\/wp\/v2\/posts\/181\/revisions\/184"}],"wp:attachment":[{"href":"https:\/\/blogs.urz.uni-halle.de\/strickdings\/wp-json\/wp\/v2\/media?parent=181"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogs.urz.uni-halle.de\/strickdings\/wp-json\/wp\/v2\/categories?post=181"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogs.urz.uni-halle.de\/strickdings\/wp-json\/wp\/v2\/tags?post=181"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}