Die Oracle Converged Datenbank

In der Oracle-Datenbank hingegen können nicht nur relationale Daten, sondern auch verschiedenste heterogene Daten – die strukturiert oder unstrukturiert vorliegen – verwendet werden und sogar in Kombination miteinander abgefragt werden. Die Speicherung von Daten erfolgt entweder über Standard-Datentypen wie CHAR, VARCHAR2 und SECUREFILE für Large Objects oder auch über spezialisierte Datentypen wie XMLTYPE und JSON. Dabei spielt es keine Rolle, ob die Daten innerhalb oder außerhalb der Datenbank auf dem Filesystem oder auf einem preiswerten Object Store gespeichert sind. Mit der Oracle-External-Table-Technologie lässt sich beispielsweise ganz einfach auf Daten die außerhalb der Datenbank gespeichert sind zugreifen. Nur die Metadaten der Tabelle selbst sind in der Datenbank gespeichert. Mittlerweile besteht sogar die Möglichkeit, hybrid partitionierte Tabellen (engl. hybrid partitioned tables) anzulegen. Die Partitionen von hybrid partitionierten Tabellen können dann sowohl in der Oracle-Datenbank in Oracle Tablespaces als auch in externen Quellen vorliegen, wie z. B. CSV-Dateien, Parquet-Dateien oder sonstige Dateien im Hadoop Distributed File System (HDFS). So lassen sich Partitionen, die nicht mehr häufig abgefragt werden, einfach in externe Dateien verschieben, um so eine kostengünstigere Speicherlösung zu verwenden.

Dabei gelten weiterhin die gleichen durchgängigen Oracle-Datenbank-Standard-Konzepte wie ACID-Transaktionen, Multiversion Read Consistency, Nonblocking Queries und Non Escalating Row Locking.

Und nicht zu vergessen: Einheitliche Betriebskonzepte für eine sichere, performante und hochverfügbare Verwendung mit zentralen Schnittstellen und Werkzeugen zum Monitoren und zur Verwaltung gehören ebenfalls standardmäßig zur Ausstattung einer Oracle-Datenbank.

Integrierte Abfragen auf heterogene Datenmodelle mit SQL

Wie kann man heterogene Daten in der Oracle-Datenbank verwenden? Welche Techniken gibt es, um moderne Anforderungen wie Daten-Mining, Sentiment-Analysen, Umkreissuchen oder auch Property-Graph-Kontexte zu nutzen? Wie sehen gemischte Abfragen dabei aus?

Im Folgenden wird konkret an einem Beispiel demonstriert, wie eine komplexe Anfrage auf Daten, die in der Oracle-Datenbank gespeichert sind, realisiert wird. Nicht nur relational gespeicherte Stammdaten sondern auch heterogene und unstrukturierte Daten können hierzu verwendet werden. Das Ziel ist dabei, alles mit SQL – sogar mit einem einzigen Statement – zu erledigen und keine weiteren Sprachen oder Frameworks verwenden zu müssen.

SELECT
   c.customer_id,
   c.cust_last_name,
   c.GENDER
FROM warehouses w,
   customers c
WHERE w.warehouse_id = 3  and contains(c.cust_last_name,'!Herschei')>0
and sdo_within_distance (c.cust_geo_location, w.wh_geo_location, 'distance = 500 unit=MILE') = 'TRUE';

Ein Filtering auf Stammdaten (w.warehouse_id = 3) verknüpft mit einer unscharfen Suche nach einem ähnlich klingendem Namen (contains(c.cust_last_name,'!Herschei')>0) sowie eine Umkreissuche (sdo_within_distance (c.cust_geo_location, w.wh_geo_location, 'distance = 500 unit=MILE') = 'TRUE') grenzen die Ergebnismenge ein.

Das Ergebnis sieht dann folgendermaßen aus:

CUSTOMER_ID     CUST_LAST_NAME      GENDER
181             Hershey             F

Die Technologien, die in der Abfrage verwendet werden, sind Oracle Text für die unscharfe Suchanfrage und Oracle Spatial für die Umkreissuche der Location-Anfrage. Grundlage sind spezielle Indizes, die vorab angelegt worden sind.

• Oracle TEXT ist eine in die Datenbank integrierte Volltextrecherche. Über die Standard-Suchfunktionalitäten hinaus, verfügt Oracle Text auch über Textmining-Funktionen wie Klassifizierung, Clustering und Sentiment-Analyse, liefert Thesaurus-Unterstützung und Internationalisierung. Dokumente in unterschiedlichen Formaten wie Word, PDF, PPT etc. werden unterstützt und in nativer Form gespeichert; ein Filter sorgt allerdings dafür, dass eine vorläufige Version in reinem (plain-)Text oder HTML-Version des Dokuments zur Verfügung steht, um dann die Wörter zum Indizieren verwenden zu können. Möchte man Oracle Text ausprobieren, kann man beispielsweise mit einem einfachen Oracle Text Tutorial auf LiveSQL starten [1] oder unseren deutschsprachigen Blog dazu verwenden [2].
• Oracle Spatial und Graph besteht aus Funktionen, Prozeduren, Datentypen und Datenmodellen zur räumlichen und graphischen Analyse. Spezielle Funktionen ermöglichen schnelle und effiziente Speicherungen, Zugriffe und Analysen von räumlichen Daten. Darüber hinaus werden semantische Daten wie Property-Graphen unterstützt, um die Abbildung und die Analyse von hochgradig vernetzten Informationen zu ermöglichen. Für den Einstieg eignet sich das Tutorial "Introduction to Location-Based Analysis Using Spatial Features of Oracle Database" [3]. Auf Github gibt es einen Spatial Workshop, der mit dem Oracle Free Trial verwendet werden kann [4].

Häufig liegen Daten im unstrukturierten JSON- oder XML-Format vor. Auch hier können Informationen aus den Dokumenten mit Standard-Datenbankmitteln abgefragt werden. Dazu gibt es spezielle SQL/JSON- und SQL/XML-Funktionen, mit denen sogar ein "Piecewise Update" auf die Dokumente durchgeführt werden kann. So kann das gezeigte SQL-Beispiel um eine Abfrage auf JSON-Dokumente erweitert werden. Informationen über Produkte sind dabei im JSON-Format und in der Spalte JSON_DOC gespeichert.

SELECT
   c.customer_id,
   c.cust_last_name,
   c.GENDER
   P.JSON_DOC.QUANTITY
FROM warehouses w,
   customers c,
   products p
WHERE w.warehouse_id = 3
and p.json_value(json_doc,’$CUSTNumber’ returning number) = c.customer_id 
and contains(c.cust_last_name,'!Herschei')>0
and sdo_within_distance (c.cust_geo_location, w.wh_geo_location, 'distance = 500 unit=MILE') = 'TRUE';

Mit einfacher Punktnotation (P.JSON_DOC.QUANTITY) werden im Beispiel die JSON-Inhalte selektiert. Auch mit der SQL/JSON-Funktion JSON_VALUE können JSON-Inhalte (hier die CUSTNumber) extrahiert werden. Zusätzliche Indizes für effiziente JSON-Dokument-Zugriffe werden auf diese Weise definiert. Mit einem speziellen Index – dem sogenannte DataGuide – können sogar Informationen über die Struktur und den Inhalt der gespeicherten JSON-Dokumente ermittelt werden. Damit lassen sich schnell relationale Views erzeugen und sogar Volltextsuchen durchführen. Interessant für Oracle-Spatial-Nutzer ist auch die Möglichkeit, aus gespeicherten Geometrien das Format GeoJSON zu generieren und somit zur Speicherung ein leicht lesbares offenes Format zur Verfügung zu haben. Umgekehrt können aus GeoJSON-Informationen, Oracle-Spatial-Daten generiert werden. Codebeispiele gibt es auch auf Github [5] oder in der Code Library auf LiveSQL (Suchwort: JSON).

Die verwendeten Technologien stehen out-of-the-box ohne zusätzliche Installation zur Verfügung. Alle Abfragen funktionieren gleichermaßen unabhängig von der eingesetzten Oracle-Datenbank-Installation – wie Cloud- oder On-premise-Installationen. Auch die Verwendung von speziellen Verarbeitungstechnologien wie Real Application Clusters, In-Memory für den Zugriff auf den Column Store, Parallelisierung, Komprimierung, Verschlüsselung oder Multitenant kann transparent stattfinden. Beim Entwickeln muss keine Änderung an den SQL-Abfragen durchgeführt werden. Keine Kenntnisse der darunterliegenden Strukturen sind erforderlich.