
ASAM ODS ermöglicht AI/ML-Lösungen
ASAM International Conference, 4.-5. Dezember 2024, München, Deutschland
Oft wird Standardisierung als Hindernis für Innovation und Integration neuester Technologietrends angesehen. Für den ASAM ODS Standard –der für langfristiges und zukunftssicheres Datenmanagement geeignet ist – trifft das allerdings nicht zu. Er bietet bereits alle erforderlichen Bausteine für die Vorbereitung und Speicherung von Testdaten, sodass diese für maschinelles Lernen geeignet sind. Erfahren Sie, wie auf die Daten mit Standardanalyse- und maschinellen Lerntools zugegriffen werden kann und wie Unterstützung durch KI-Agenten bereitgestellt wird.
[In der Blog-Übersicht wird hier ein Weiterlesen-Link angezeigt]
Prozess der Datenanalyse
Um die benötigten und vorhandenen Bausteine zu identifizieren, werfen wir zunächst einen Blick auf den Gesamtprozess der Datenanalyse. Ausgehend von der Problemdefinition definiert der Prozess die Schritte zur Gewinnung datenbasierter Erkenntnisse und Verbesserungen:

-
Daten aus verschiedenen
Quellen sammeln
-
Daten formatieren und
speichern
-
Zugriff auf die Daten
bereitstellen
- AI Tools verwenden
- AI Modelle generieren
- Ergebnisse vorhersagen,
Arbeitsabläufe
verbessern, …
Die einzelnen Schritte können in zwei Abschnitte unterteilt werden: Anforderungen an das Datenmanagement und Anwendungen für maschinelles Lernen (ML).
Beginnen wir mit den Anforderungen an das Datenmanagement.
Datenmanagementanforderungen für maschinelles Lernen
Die drei Hauptanforderungen decken die folgenden Bereiche des Datenmanagements ab:
- Datenimport – Sammeln von Daten aus verschiedenen Quellen
- Datenspeicherung und Datenformat
- Datenzugriff
Die Kunst des Datenmanagements besteht darin, es in die vorhandene IT-Landschaft zu integrieren, die Daten effizient zu speichern, den Datenkontext beizubehalten und die Daten schließlich auf eine Weise bereitzustellen, die für die Verbindung vorhandener und zukünftiger Tools geeignet ist. Sehen wir uns diese drei Anforderungen einzeln an.
Datenimport
Datenimport ist der Prozess, um Datensilos Ihrer Organisation mit Ihrer Datenverwaltungslösung zu verbinden. Wenn Sie ASAM ODS als eine mögliche Lösung betrachten, werden Sie verschiedene Möglichkeiten finden, Daten in einen ASAM ODS-Server aufzunehmen oder zu importieren. Für den Anwendungsfall, vorhandene Arbeitsabläufe intakt zu halten, wird ein Importmechanismus benötigt, der die Daten (Dateien) in ihrem ursprünglichen Format und an ihrem ursprünglichen Speicherort behält und die erforderlichen Metadaten bereitstellt, um die Daten in den richtigen Kontext des ASAM ODS-Servers zu bringen.
Die ASAM ODS Extended Data API oder kurz ASAM ODS ExD Plugins erfüllen diese Anforderungen. Als gRPC-Dienste implementiert, mit einer einfachen API zum Abrufen von Massen- und Metadaten, sind sie die ideale Lösung. Kurz gesagt können Sie mit ASAM ODS ExD Plugins:
- Auf „jede“ Art von Daten zugreifen
- Datenkonvertierung und Datenduplizierung vermeiden
- Vorhandene Arbeitsabläufe beibehalten
- „Jede“ Programmiersprache verwenden
- Ihre F&E-Investitionen geringhalten
Sie finden Beispiele für die Entwicklung und den Test von ASAM ODS ExD Plugins hier:
Datenspeicherung und Datenformat
Die richtige Methode zum Speichern und Formatieren von Daten zu finden, ist eine Aufgabe, die viel Zeit und Ressourcen in Anspruch nehmen kann, wenn man von Grund auf neu beginnt. Anstatt eine eigene Methode zum Speichern von Daten zu finden, empfehlen wir sich zunächst den ASAM ODS-Standard anzusehen. ASAM ODS definiert die physische Datenspeicherung und den entsprechenden Datenzugriff auf generische Weise, sodass Sie Ihre spezifischen Datenanforderungen mithilfe eines sogenannten Basisdatenmodells definieren können:
Das Basismodell führt zusätzliche Semantik ein, um die Bedeutung und Interpretation der Daten zu definieren. Darüber hinaus haben Sie durch das Hinzufügen eines Datenkontexts und von Katalogen für wiederkehrende Inhalte bereits eine Datenontologie definiert.
Datenzugriff
Datenzugriff oder Datenkonnektivität ist erforderlich, um den einzelnen Clients die im ASAM ODS-Server gespeicherten Daten zur Verfügung zu stellen. ASAM ODS bietet unter anderem bereits Datenzugriff über eine HTML-API. Die vorhandene API ist jedoch sehr ASAM-Tool-spezifisch und lässt sich nicht nahtlos in Python-Analyse- und ML-Bibliotheken integrieren.
Sehen wir uns im nächsten Kapitel an, wie dieses Problem angegangen wird …
Machine-Learning-Tools verbinden
Um die Anforderungen an ML-Tools und -Anwendungen im Detail zu beschreiben, schauen wir uns das Berufsprofil und die Fähigkeiten eines typischen Datenwissenschaftlers an:
Die Liste der verwendeten Tools kann wie folgt zusammengefasst werden:
- Python oder R und SQL
- Algorithmen für maschinelles Lernen
- Tableau und Power BI
- Spark und Hadoop
Python und Machine-Learning-Algorithmen
Python ist die „Lingua franca“ der Datenwissenschaftler und die meisten Machine-Learning-Bibliotheken sind in Python verfügbar. Um diese Bibliotheken nutzen zu können, müssen die Daten als DataFrames bereitgestellt werden. Hier kommt die Open-Source ODSBox ins Spiel. Als schlanker Wrapper über der ASAM ODS API konvertiert sie die typischen ODS-Daten in DataFrames. Sobald die ODSBox (pip-)installiert ist, können Sie die leistungsstarken Python-Machine-Learning-Bibliotheken nutzen.
Power BI
Die Lösung zum Importieren von ASAM ODS-Daten in Microsoft Power BI folgt dem gleichen Konzept. Mithilfe des vorhandenen Python-Datenimports können die von der ODSBox bereitgestellten DataFrames direkt von Microsoft Power BI geladen werden.
Spark und Hadoop
Um Ihre ASAM ODS-Daten im Apache Hadoop-Ökosystem verfügbar zu machen, ist ein anderer Ansatz erforderlich. Die im Hadoop-Ökosystem verwendeten Analysetools kommen am besten mit Daten zurecht, die als Apache Avro oder Apache Parquet formatiert sind. Die Lösung kommt in diesem Fall direkt aus dem ASAM ODS-Komponenten-Portfolio.
Der ASAM Big ODS Standard definiert Möglichkeiten, wie Daten, die in einem ASAM ODS-Server gespeichert sind, mithilfe einer XML-Definitionsdatei als Apache Avro- oder Apache Parquet-Dateien exportiert werden können. Die Automatisierung dieses Exports kann mithilfe von Spark erfolgen. Neben dem Export der Daten in die gewünschten Hadoop-Datenformate sind Spark SQL und DataFrames weitere Bausteine für Big Data Analytics.
Erhalten Sie Unterstützung durch AI-Agenten
Nachdem wir nun gezeigt haben, dass ASAM ODS-Daten für maschinelles Lernen leicht verfügbar gemacht werden können, stehen uns jetzt auch KI-Agenten wie Google Gemini oder Microsoft Copilot zur Verfügung, um uns bei unseren Datenanalyseaufgaben zu unterstützen. Die im Data Management Learning Path verfügbaren Jupyter Notebooks können Sie z.B. in Google Colab, Github Codespaces oder Microsoft Fabric laden und anschließend die AI-Agenten dieser Plattformen verwenden, um anspruchsvollere Diagramme zu erstellen oder Datenabfragen für Ihre Analyseaufgaben zu generieren.
Fazit und Zusammenfassung
Die Data-Management-Technologiekomponenten von ASAM ODS erfüllt die Anforderungen um Machine Learning zu ermöglichen. In Kombination mit Open-Source-Software wie die ODSBox können typische Python Machine Learning Tools und Analysebibliotheken von Datenwissenschaftlern verwendet werden. Darüber hinaus schließt die ODSBox auch die Lücke zu Microsoft Copilot, Google Gemini oder anderen AI-Agenten, um Lösungen schneller und effizienter zu erstellen – auch für Nicht-Datenwissenschaftler.
Dieser Blogbeitrag fasst die Präsentation auf der ASAM International Conference am 4. und 5. Dezember 2024 in München zusammen.
Sie können die Originalpräsentation hier herunterladen.
Verbundene Lösungen
Sie können auf die Links klicken, um mehr Informationen über einzelne Komponenten zu erhalten
Peak Test Data Manager
Peak Test Data Manager ist ein zukunftssicheres Testdatenmanagementsystem, das die einzelnen Datenmanagementkomponenten bündelt.
Peak ODS-Server
Langfristige Datenspeicherung inklusive APIs für standardisierten und sicheren Datenzugriff
Peak ODS Adapter für Apache Spark
Skalierbarer Datenzugriff basierend auf Apache Spark.
Zugehörige Themen
Python ASAM ODS Dienstprogramme
Open-Source-Bibliotheken und Beispiele zur Verwendung von ASAM ODS-Daten in Python.
Was ist ASAM ODS?
Der ASAM ODS-Standard definiert APIs und Formate zum Speichern und Abrufen von Test- und Messdaten.
Was ist ein Datenmodell?
Ein Datenmodell definiert den Datenkontext Ihrer Messdaten.
Was sind ASAM ODS EXD-API Plugins?
ASAM ODS EXD-API-Plugins ermöglichen den Zugriff auf Inventardaten über gRPC-Mikrodienste.