Project Metamorphosis: Elastic Apache Kafka Clusters in der Confluent Cloud
Nichts ist so beständig wie der Wandel – das trifft auch auf Softwarearchitekturen zu. Die Trends der letzten Jahre sind vielfältig und gefühlt kommt täglich ein neues Buzzword dazu. Zwei Trends haben sich hier ganz klar etabliert: Cloud und Event-Streaming. Nun hat auch Confluent, das Unternehmen hinter Apache Kafka, sein Cloud-Angebot ausgebaut: Project Metamorphosis bietet Event-Streaming in elastischen Apache Kafka Clusters in der Confluent Cloud.
Der Einsatz von Cloud-Technologien hat in den letzten Jahren explosionsartig zugenommen: 94 Prozent der Unternehmen nutzen bereits Cloud Services. Analysten erwarten, dass der Markt für Public Cloud Services bis 2023 weltweit 623 Milliarden US-Dollar erreichen wird. Angesichts der Effizienz, Skalierbarkeit und Kosteneinsparungen ist es kein Wunder, dass immer mehr Unternehmen Cloud-, Hybrid-Cloud- oder Multi-Cloud-Technologie einsetzen.
Event-Streaming: Einführung
Apache Kafka ist eine persistente, verteilte Message-Broker-, Streaming- und Datenintegrationsplattform und wird oft als zentraler Datenhub und Streaming-Komponente in einer Fast Data-Umgebung eingesetzt. Eine Fast Data-Plattform verarbeitet extrem große Datenmengen nahezu in Echtzeit.
Event-Streaming ist eine gänzlich neue Art und Weise, wie wir über Daten denken und sie nutzen. Einer Gartner-Studie zufolge sollen bereits in den nächsten Jahren über 60 Prozent aller Business-Transaktionen in digitalen Unternehmenslösungen event-getrieben ablaufen. Und Event-Streaming-Plattformen bilden bereits jetzt schon das Herzstück vieler innovativer Unternehmen wie Uber, AirBnB oder Zalando. Fortune-500-Unternehmen sprangen schnell auf diesen Zug auf. Als Standard hat sich hier seit 2014 das Open-Source-Projekt Apache Kafka etabliert.
Apache Kafka kann als verteilte Event-Streaming-Plattform mehrere Billionen Events pro Tag verarbeiten. Kafka wurde ursprünglich als Messaging-Queue konzipiert und basiert auf einer Abstraktion eines verteilten Commit-Logs. Seitdem Kafka 2011 bei LinkedIn entwickelt und unter eine Open-Source-Lizenz gestellt wurde, hat es sich schnell von einer Messaging-Queue zu einer komplexen Event-Streaming-Plattform entwickelt.
Hinter Apache Kafka steht das Unternehmen Confluent: Es wurde von den ursprünglichen Entwicklern von Apache Kafka gegründet und bietet heute eine Vielzahl an Möglichkeiten, darunter Support für Kafka im Unternehmensumfeld.
Apache Kafka: Aufbau, Skalierung und Betrieb
Der Aufbau und die Skalierung event-getriebener Anwendungen ist eine echte Herausforderung, da sich die Quellen für Event-Daten oft über mehrere Rechenzentren, Clouds, Microservices und stark verteilte Umgebungen erstrecken. Dies führte dazu, dass die Fertigkeit, sich mit "Kafka" auszukennen, zur bestbezahltesten in den Vereinigten Staaten wurde und auch in Europa listen Unternehmen dies unter den Top-Skills für Software-Architekten und Data Engineers. Für viele Unternehmen bedeutete dies, dass dieses allgegenwärtige Event-Streaming unerreichbar wurde.
Als logischen Schritt brachte Confluent die erste Event-Streaming-Plattform der Branche auf den Markt, die speziell für Unternehmen entwickelt wurde und vom Fachwissen der Gründer profitiert: Project Metamorphosis. Es soll ermöglichen, Kafka einfach und kompliziert in die Unternehmensarchitektur einzubinden und Event Streaming für alle nutzbar zu machen.
Kafka in der Cloud: Skalierbar und hochverfügbar
Project Metamorphosis ist also der nächste logische Schritt des Streaming-Pioniers: Jede Organisation sollte Event-Streaming zum zentralen Nervensystem ihres Unternehmens machen können. Daher sollen im Rahmen dieser Initiative die drängendsten Probleme gelöst werden, auf die Organisationen stoßen, wenn sie das Event-Streaming zu einem allgegenwärtigen Teil ihres Geschäfts machen. Die Bereitstellung der Lösung als vollständig gehostete Plattform in der Confluent Cloud ist essenzieller Bestandteil des Ansatzes.
"Confluent richtet Unternehmen neu auf Event-Streaming aus, was zur Modernisierung von Anwendungen beiträgt", so Thomas Laffont, Mitbegründer von Coatue Management. "Wir glauben, dass Confluent ein Vordenker im Bereich Event-Streaming ist, und erwarten mit Spannung, wie dieses Team den Bereich mit Innovationen wie Confluent Cloud erweitert."
Confluents CEO Jay Kreps erinnert sich in der Ankündigung von "Projekt Metamorphosis" daran, wie er seine erste EC2-Instanz in Gang setzte: "Es war irgendwie magisch. Die Vorstellung, dass man Rechenkapazität, Datenspeicherung und andere grundlegende Bestandteile auf Abruf erhalten und nur für das bezahlen könnte, was man verbraucht hat, war schon damals eine große Sache. Aber der darauf basierende Wandel, nämlich die der Art und Weise, wie Datensysteme gebaut werden und wie wir sie verbrauchen, ist sogar noch größer, als ich gedacht hätte."
Streaming: Sekunden können entscheiden
Die Anzahl unternehmenskritischer Anwendungen und die ihnen zugrunde liegende Datenmenge ist in der zunehmend digitalen Welt exponentiell gewachsen – und die Zeichen sprechen nicht für eine Verlangsamung dieser Entwicklung. Diese Anwendungen basieren zumeist auf starren Datenarchitekturen, was Unternehmen dazu zwingt, zu viel im voraus für Ressourcen auszugeben, die sie nicht nutzen. Zudem wird wertvolle Zeit mit komplexer Kapazitätsplanung zur Bewältigung unerwarteter Schwankungen im Daten-Traffic verschwendet. Die bereitgestellten Ressourcen können oft nicht mit ungeplanten Datenverkehrsspitzen umgehen. Dies beeinträchtigt wiederum die Anwendungsleistung und verursacht Ausfallzeiten.
In dieser Welt, in der Kundentreue unmittelbar mit der leistungsfähigsten App verknüpft ist, können Sekunden entscheidend dafür sein, ob die Entscheidung für den Kauf oder gegen das Unternehmen fällt. Unmittelbar damit gekoppelt sind somit Umsatzziele, Weiterempfehlungen und Markenaufbau. Wenn diese Apps an Echtzeit-Bedürfnisse angepasst werden müssen, funktioniert das nur mit einer Architektur, die sich elastisch skalieren lässt.
Apache Kafka in der Cloud
Confluent hat Apache Kafka überarbeitet und eine Event-Streaming-Plattform geschaffen, die sich diesen Herausforderungen mühelos stellt: Sie ist elastisch skalierbar, verarbeitet Daten aus jeder Quelle in Echtzeit und passt sich dabei jedem Use Case und Budget an. Durch den Betrieb von Kafka in der Cloud können Unternehmen das Management der Kafka-Cluster komplett abgeben. Mit nur einem Mausklick können drei verschiedene Setups von Clustern eingerichtet werden, die von 0 MB/s bis zu mehreren GB/s skalierbar sind. Für Unternehmen, die Kafka selbst verwalten, bietet Confluent Möglichkeiten für das Cluster-Management mit einer automatisierten, leistungsstarken und sofortigen Möglichkeit zur Skalierung von Ressourcen, um Kapazitätsanforderungen zu erfüllen.
Kafka Neuigkeiten: Funktionalitäten und Highlights an jedem ersten Mittwoch des Monats
Als erstes Thema für den Mai kündigte Jay Kreps am vergangenen Mittwoch "Elastic" an, das vor allem die Flexibilität, Skalierbarkeit und eben Elastizität des Cloud-Services in den Mittelpunkt stellt. Im Laufe der nächsten acht Monate wird Confluent immer am ersten Mittwoch des Monats weitere Funktionalitäten und Highlights ankündigen. Jedes Release im Jahr 2020 wird sich mit den technischen Herausforderungen befassen, mit denen Unternehmen bei der Einführung einer Event-Streaming-Plattform konfrontiert sind. Der Ausblick ins Jahr 2021 verspricht die nächste Innovationswelle, die den Bereich der Kundenkommunikation revolutionieren wird.
Mehr Informationen zu "Project Metamorphosis" gibt es hier.
EIS
Sie möchten zukünftig per Newsletter der Informatik Aktuell informiert werden? Hier können Sie sich anmelden.
