{"id":1940,"date":"2024-03-04T12:10:50","date_gmt":"2024-03-04T12:10:50","guid":{"rendered":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/?p=1940"},"modified":"2024-03-04T12:10:50","modified_gmt":"2024-03-04T12:10:50","slug":"das-datensilo-easydb-mit-flexibler-transformation-oeffnen","status":"publish","type":"post","link":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/das-datensilo-easydb-mit-flexibler-transformation-oeffnen\/","title":{"rendered":"Das Datensilo EasyDB mit flexibler Transformation \u00f6ffnen"},"content":{"rendered":"<p><strong>von Peter Heiss<\/strong><\/p>\n<figure id=\"attachment_1941\" aria-describedby=\"caption-attachment-1941\" style=\"width: 600px\" class=\"wp-caption alignnone\"><a href=\"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild5.jpg\"><img loading=\"lazy\" decoding=\"async\" class=\" wp-image-1941\" src=\"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild5-300x300.jpg\" alt=\"\" width=\"600\" height=\"600\" srcset=\"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild5-300x300.jpg 300w, https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild5-150x150.jpg 150w, https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild5.jpg 698w\" sizes=\"auto, (max-width: 600px) 100vw, 600px\" \/><\/a><figcaption id=\"caption-attachment-1941\" class=\"wp-caption-text\">Abbildung 1: Titelbild (Quelle: Bing Image Creator; Frei zu verwenden f\u00fcr private, nicht-kommerzielle Zwecke)<\/figcaption><\/figure>\n<p style=\"text-align: justify;\"><strong>Daten sind &#8211; wie B\u00fccher &#8211; in Bibliotheken \u00fcberall und werden in den verschiedensten Systemen erfasst, sortiert und anderweitig verwaltet. Leider sind diese Systeme nicht immer f\u00fcr die Anzeige geeignet oder gar der \u00d6ffentlichkeit frei zug\u00e4nglich. An der ULB M\u00fcnster werden u.a. Forschungsdaten in der Software <em>EasyDB<\/em> der Firma <em>Programmfabrik<\/em> erfasst. Bedauerlicherweise ist diese Software nicht f\u00fcr die Anzeige der Daten oder die Weiterverwendung derselbigen in anderen Softwarel\u00f6sungen geeignet. Doch wie bricht man die Unzul\u00e4nglichkeit solcher Datensilos auf, ohne auf die Software selbst zu verzichten? Dieser Frage ging das beschriebene Projekt im Sommer 2023 nach.<\/strong><\/p>\n<p><!--more--><\/p>\n<p style=\"text-align: justify;\">Die ULB M\u00fcnster verwaltet inzwischen in 5 <em>EasyDB<\/em>-Instanzen bis zu je 70.000 Datens\u00e4tze, welche wiederum in verschiedensten Metadatenschemen vorliegen. Eine Transformation f\u00fcr alle Daten zu konzipieren ist also f\u00fcr ein kleines Team von Softwareentwickler*innen unm\u00f6glich. Um dem Problem zu begegnen wird es notwendig sein, so viel Personal wie m\u00f6glich in die Lage zu versetzen, die Datentransformation gestalten zu k\u00f6nnen:<\/p>\n<ul>\n<li style=\"list-style-type: none;\">\n<ul>\n<li>Welche Daten sollen wie transformiert werden?<\/li>\n<li>Welche Information im Ausgangsformat sollen an welcher Stelle im Zielformat landen?<\/li>\n<li>Ist eine Verarbeitung eines Datenfeldes notwendig?<\/li>\n<li>Welches kann von dem gew\u00fcnschten Zielsystem verarbeitet werden?<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p style=\"text-align: justify;\">All diese Fragen (und mehr) m\u00fcssen beantwortet werden, bevor die Transformation durchgef\u00fchrt werden kann. Hier sind die Administrator*innen der <em>EasyDB<\/em> die richtigen Expert*innen, da sie die Daten und die Software kennen, sowie das Metadatenschema selbst angelegt haben. Demnach wissen sie, wie die Daten aufgebaut sind und wie sie verarbeitet werden m\u00fcssen. Aus diesem Grund bietet die in diesem Projekt erarbeitete Transformationssoftware eine leichtgewichtige Konfigurationssprache an, damit sie im Self-Service angepasst werden kann.<\/p>\n<figure id=\"attachment_1942\" aria-describedby=\"caption-attachment-1942\" style=\"width: 667px\" class=\"wp-caption alignnone\"><a href=\"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild8.jpg\"><img loading=\"lazy\" decoding=\"async\" class=\" wp-image-1942\" src=\"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild8-300x89.jpg\" alt=\"\" width=\"667\" height=\"198\" srcset=\"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild8-300x89.jpg 300w, https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild8-1024x304.jpg 1024w, https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild8-768x228.jpg 768w, https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild8.jpg 1429w\" sizes=\"auto, (max-width: 667px) 100vw, 667px\" \/><\/a><figcaption id=\"caption-attachment-1942\" class=\"wp-caption-text\">Abbildung 2: Skizze des Transformationsprozess (Quelle: Peter Heiss)<\/figcaption><\/figure>\n<p style=\"text-align: justify;\">Als das erste Zielsystem im Projekt wurde der <em>Goobi Viewer<\/em> der Firma <em>Intranda<\/em> ausgew\u00e4hlt. Das Diagramm in Abbildung 2 soll den Prozess der Transformation und die verwendeten Datenformate veranschaulichen, welcher implementiert wurde. Zu sehen ist, dass die Daten aus dem Ursprungssystem im JSON-Format abgefragt werden, welches einem internen Datenformat von <em>EasyDB<\/em> entspricht.<\/p>\n<p style=\"text-align: justify;\">Mittels einer Konfigurationsdatei werden die Daten in ein internes Datenformat \u00fcberf\u00fchrt. Durch ein Jinja-Template werden die Daten in das LIDO-Format transformiert, welches ein Standardformat f\u00fcr die Ver\u00f6ffentlichung von Archiv- und Museumsdaten ist. Abschlie\u00dfend werden die Daten in das Zielsystem importiert.<\/p>\n<figure id=\"attachment_1943\" aria-describedby=\"caption-attachment-1943\" style=\"width: 600px\" class=\"wp-caption alignnone\"><a href=\"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild9.jpg\"><img loading=\"lazy\" decoding=\"async\" class=\" wp-image-1943\" src=\"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild9-206x300.jpg\" alt=\"\" width=\"600\" height=\"874\" srcset=\"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild9-206x300.jpg 206w, https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-content\/uploads\/2024\/01\/Bild9.jpg 407w\" sizes=\"auto, (max-width: 600px) 100vw, 600px\" \/><\/a><figcaption id=\"caption-attachment-1943\" class=\"wp-caption-text\">Abbildung 3: Die Softwarearchitektur als Projektergebnis (Quelle: Peter Heiss)<\/figcaption><\/figure>\n<p style=\"text-align: justify;\">Im Verlauf des Projektes konnte dieser Ansatz implementiert werden. Die erstellte Softwarearchitektur kann in Abbildung 3 eingesehen werden. Dabei wurde eine starke Modularit\u00e4t angestrebt, um die Nachnutzung in anderen Kontexten m\u00f6glichst einfach zu gestalten. Die notwendigen Schulungen der <em>EasyDB<\/em>-Administrator*innen f\u00fcr die Anpassung der beiden notwendigen Konfigurationsdateien wurde ebenfalls durchgef\u00fchrt, sodass die Daten nun regelm\u00e4\u00dfig in den <em>Goobi Viewer<\/em> importiert und bei \u00c4nderungen im Quellsystem selbstst\u00e4ndig angepasst werden k\u00f6nnen.<\/p>\n<p>&nbsp;<\/p>\n<p>Projektzeitraum: M\u00e4rz 2023 &#8211; August 2023<br \/>\nProjektbetreuerin: Prof. Dr. Mirjam Bl\u00fcmm<br \/>\nKontakt: peter.heiss@uni-muenster.de<\/p>\n","protected":false},"excerpt":{"rendered":"<p>von Peter Heiss Daten sind &#8211; wie B\u00fccher &#8211; in Bibliotheken \u00fcberall und werden in den verschiedensten Systemen erfasst, sortiert und anderweitig verwaltet. Leider sind diese Systeme nicht immer f\u00fcr die Anzeige geeignet oder gar der \u00d6ffentlichkeit frei zug\u00e4nglich. An der ULB M\u00fcnster werden u.a. Forschungsdaten in der Software EasyDB der Firma Programmfabrik erfasst. Bedauerlicherweise ist diese Software nicht f\u00fcr die Anzeige der Daten oder die Weiterverwendung derselbigen in anderen Softwarel\u00f6sungen geeignet. Doch wie bricht man die Unzul\u00e4nglichkeit solcher Datensilos auf, ohne auf die Software selbst zu verzichten? Dieser Frage ging das beschriebene Projekt im Sommer 2023 nach.<\/p>\n","protected":false},"author":3,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"ppma_author":[72],"class_list":["post-1940","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"authors":[{"term_id":72,"user_id":3,"is_guest":0,"slug":"seitz","display_name":"Christian Seitz","avatar_url":"https:\/\/secure.gravatar.com\/avatar\/e1bdb5349ee9992175a4036266ff9a3b948338150a8e374e357da3eec87aea0e?s=96&d=blank&r=g","0":null,"1":"","2":"","3":"","4":"","5":"","6":"","7":"","8":""}],"_links":{"self":[{"href":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-json\/wp\/v2\/posts\/1940","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-json\/wp\/v2\/comments?post=1940"}],"version-history":[{"count":4,"href":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-json\/wp\/v2\/posts\/1940\/revisions"}],"predecessor-version":[{"id":2024,"href":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-json\/wp\/v2\/posts\/1940\/revisions\/2024"}],"wp:attachment":[{"href":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-json\/wp\/v2\/media?parent=1940"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-json\/wp\/v2\/categories?post=1940"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-json\/wp\/v2\/tags?post=1940"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/malisprojekte.web.th-koeln.de\/wordpress\/wp-json\/wp\/v2\/ppma_author?post=1940"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}