Durch die Kombination von Apache Kafka und Delta Lake lösen Confluent und Databricks eines der zentralen Probleme moderner Datenarchitekturen: isolierte Datensilos. Die neuen Integrationen zwischen Confluents Tableflow und Databricks Unity Catalog ermöglichen eine nahtlose Steuerung und Nutzung von Echtzeitdaten für KI-gestützte Entscheidungen.

Foto: Databricks Ali Ghodsi, Mitbegründer und CEO von Databricks Foto: Confluent Jay Kreps, Mitbegründer und CEO von Confluent Die digitale Transformation stellt Unternehmen vor neue Herausforderungen, insbesondere im Bereich der Datenverwaltung für KI-Anwendungen. Confluent und Databricks haben eine strategische Erweiterung ihrer Partnerschaft bekannt gegeben, um durch tiefere Integrationen ihrer Plattformen die Nutzung von Echtzeitdaten für Analysen und maschinelles Lernen zu verbessern. Die bidirektionale Verbindung zwischen Confluents Tableflow und Databricks Unity Catalog soll Unternehmen helfen, ihre Daten effizienter zu verwalten und in Echtzeit für KI-Anwendungen nutzbar zu machen.

Echtzeitdaten als Grundlage für KI-Anwendungen

KI-gestützte Entscheidungen erfordern aktuelle und konsistente Daten. Dennoch arbeiten viele Unternehmen mit isolierten Systemen, die eine nahtlose Nutzung dieser Daten erschweren. Eine Studie zeigt, dass lediglich 22 Prozent der Unternehmen glauben, ihre IT-Infrastruktur sei für den wachsenden Bedarf an KI-Anwendungen gerüstet. Confluent und Databricks setzen mit ihren neuen Integrationen genau hier an: Die Kombination von Confluents Echtzeit-Datenplattform mit Databricks’ Data-Intelligence-Lösung ermöglicht es, Betriebs- und Analysedaten in einer einheitlichen Architektur zusammenzuführen.

"Wenn Unternehmen den Nutzen ihrer KI-Investitionen maximieren wollen, müssen sie ihre Daten, KI, Analysen und Governance zentral bündeln", erklärt Ali Ghodsi, Mitbegründer und CEO von Databricks. "Da wir immer mehr Unternehmen bei der Entwicklung von Data Intelligence unterstützen, rücken vertrauenswürdige Unternehmensdaten zunehmend in den Mittelpunkt. Wir freuen uns, dass Confluent unsere Lösungen Unity Catalog und Delta Lake für Open Governance und Speicherung wählt. Damit bieten wir den Kunden gemeinsam einen langfristigen Mehrwert."

Auch Jay Kreps, Mitbegründer und CEO von Confluent, betont die Bedeutung der Partnerschaft: "Echtzeitdaten sind der Treibstoff von KI. Doch allzu oft verhindern isolierte Systeme, dass Unternehmen die benötigten Daten im richtigen Format zur richtigen Zeit erhalten. Gemeinsam mit Databricks sorgen wir dafür, dass Unternehmen das Potenzial von Echtzeitdaten voll ausschöpfen können, um anspruchsvolle KI-gesteuerte Anwendungen zu entwickeln."

Technologische Integration für reibungslosen Datenfluss

Um die Datenlücke zwischen operativen und analytischen Systemen zu schließen, setzen die Unternehmen auf neue Integrationen: Confluents Tableflow wird mit Databricks Delta Lake und Unity Catalog verknüpft. Delta Lake ist eine von Databricks entwickelte formatunabhängige Speicherebene, die sich insbesondere für Echtzeit-Datenverarbeitung eignet. Mit einer täglichen Verarbeitung von über 10 Exabyte hat sich Delta Lake bereits als skalierbare Lösung etabliert. Die Verbindung mit Tableflow stellt sicher, dass Betriebsdaten unmittelbar für analytische und KI-Anwendungsfälle verfügbar sind.

Zudem wird durch die Integration von Tableflow mit dem Unity Catalog von Databricks eine automatische Erfassung von Metadaten ermöglicht. Dadurch erhalten Unternehmen eine zentrale Datenquelle, die sowohl von Data Scientists als auch von Entwicklern in Echtzeit genutzt werden kann. Die Stream-Governance-Suite von Confluent sorgt zusätzlich für umfassende Sicherheits- und Monitoring-Funktionen.

Die Erweiterung dieser Partnerschaft verspricht, Unternehmen einen einheitlichen Blick auf ihre Echtzeitdaten zu bieten. Indem operationale und analytische Daten nahtlos zusammengeführt werden, können KI-gestützte Entscheidungen effizienter getroffen und datenbasierte Innovationen beschleunigt werden. Die tiefe Integration zwischen Confluent und Databricks könnte somit einen neuen Standard für Echtzeit-KI in Unternehmen setzen.