{"id":852,"date":"2019-09-17T14:00:48","date_gmt":"2019-09-17T12:00:48","guid":{"rendered":"http:\/\/wordpress.p527199.webspaceconfig.de\/?p=852"},"modified":"2019-09-25T16:15:13","modified_gmt":"2019-09-25T14:15:13","slug":"das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-6-hadoop-vom-abap-aus-ansprechen-die-glue-middleware-von-datavard","status":"publish","type":"post","link":"https:\/\/www.cubeserv.com\/de\/das-internet-der-dinge-big-data-und-eine-fischertechnik-fabrik-teil-6-hadoop-vom-abap-aus-ansprechen-die-glue-middleware-von-datavard\/","title":{"rendered":"Das Internet der Dinge, Big Data und eine Fischertechnik-Fabrik – Teil 6: Hadoop vom ABAP aus ansprechen: die GLUE-Middleware von Datavard"},"content":{"rendered":"\t\t
Im vorherigen Teil wurden Daten von Steuerger\u00e4ten in ein CSV-File geschrieben, dies wurde per Kafka in Hadoop importiert und via Hive-Adapter bzw. Impala-Adpater in einer HANA-Datenbank gelesen. Diese Adapter stellen eine komfortable M\u00f6glichkeit dar, um auf die Hadoop-Daten lesend zuzugreifen.<\/p>
Diese Adapter erm\u00f6glichen allerdings nicht einen schreibenden Zugriff auf die Tabellen. Will man z.B. Daten, die nicht mehr besonders wichtig sind, aber dennoch nicht gel\u00f6scht werden sollen (\u201ecold data\u201c) in das Hadoop verschieben, so geht das nicht \u00fcber diese Adapter.<\/p>
Eine einfache M\u00f6glichkeit, Daten zwischen einem ABAP-System und Hadoop hin- oder herzuverschieben, bietet die Middleware GLUE, die von unserer Partnerfirma Datavard entwickelt und vertrieben wird. Sie bietet die M\u00f6glichkeit, vom ABAP aus Tabellen in Hadoop zu definieren (diese heissen dann GLUE-Tabellen) und zwar so \u00e4hnlich wie man das in der SE11 macht. Der Inhalt dieser Tabellen l\u00e4sst sich so einfach wie mit der SE16 anzeigen, und auch das Schreiben in diese Tabellen ist sehr einfach. Die GLUE-Software setzt einen Applikationsserver auf Linux voraus, es ist aber keine HANA-Datenbank zwingend vorausgesetzt, die Software funktioniert auch auf klassischen Datenbanken.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t Ein Beispiel: nach erfolgreichem Import per ABAP-Transportauftr\u00e4ge und nach entsprechender Konfiguration, steht die Transaktion \/DVD\/GLUE als zentraler Einstiegspunkt zur Verf\u00fcgung:<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t Im Data Dictionara l\u00e4sst sich z.B. eine Tabelle ZCSSENSOR definieren:<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t Nach Aktivierung findet sich diese Tabelle dann im Hadoop wieder:<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t Ebenso einfach kann der Inhalt dieser Tabelle im ABAP zur Anzeige gebracht werden:<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t Wie wurden nun diese Daten, die man hier sieht, in diese Tabelle gebracht? In \/DVD\/GLUE findet sich die Extraktor-Workbench. Hier kann man eine Art Transformation z.B. zwischen einer ABAP-Tabelle aus dem DDIC und einer GLUE-Tabelle definieren:<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t Zus\u00e4tzlich zu diesem Extraktor (er entspricht in etwa einer Transformation) wird eine Variante definiert (sie entspricht in etwa einem DTP). Diese Variante kann dann als Job eingeplant werden und f\u00fchrt dann den Datentransfer durch. Nach der Durchf\u00fchrung kann man im entsprechenden Job-Log sehen, wie der Transfer durchgef\u00fchrt wurde (hier am Beispiel der Tabelle zcssensorl):<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t Wie fr\u00fcher im Blog bereits erw\u00e4hnt, ben\u00f6tigt man im Allgemeinen nicht nur einen Austausch von Daten, sondern auch eine Orchestrierung von Ereignissen. GLUE bietet dabei die Steuerung zentral aus dem ABAP heraus an. Mit Hilfe des Script Editors k\u00f6nnen im ABAP Befehle an das Hadoop definiert werden, z.B.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t Und diese Befehle dann auch aus dem ABAP heraus gestartet werden:<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t Insgesamt bietet GLUE einen komfortablen Weg, aus dem ABAP heraus Hadoop anzusprechen und zu benutzen. Dem Anwender er\u00f6ffnet sich damit die Hadoop-Welt, ohne dass er sich tief in die Einzelheiten dieser Technik einarbeiten muss.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":" Im vorherigen Teil wurden Daten von Steuerger\u00e4ten in ein CSV-File geschrieben, dies wurde per Kafka in Hadoop importiert und via Hive-Adapter bzw. Impala-Adpater in einer HANA-Datenbank gelesen. Diese Adapter stellen eine komfortable M\u00f6glichkeit dar, um auf die Hadoop-Daten lesend zuzugreifen. Diese Adapter erm\u00f6glichen allerdings nicht einen schreibenden Zugriff auf die Tabellen. Will man z.B. Daten, … Weiterlesen …<\/a><\/p>\n","protected":false},"author":16,"featured_media":855,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"content-type":"","footnotes":""},"categories":[41],"tags":[45,44,43],"class_list":["post-852","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-iot","tag-business-analytics-platform","tag-hadoop","tag-hana"],"acf":[],"yoast_head":"\n