Artwork

A tartalmat a Wolfgang Gassler, Andy Grunwald, Wolfgang Gassler, and Andy Grunwald biztosítja. Az összes podcast-tartalmat, beleértve az epizódokat, grafikákat és podcast-leírásokat, közvetlenül a Wolfgang Gassler, Andy Grunwald, Wolfgang Gassler, and Andy Grunwald vagy a podcast platform partnere tölti fel és biztosítja. Ha úgy gondolja, hogy valaki az Ön engedélye nélkül használja fel a szerzői joggal védett művét, kövesse az itt leírt folyamatot https://hu.player.fm/legal.
Player FM - Podcast alkalmazás
Lépjen offline állapotba az Player FM alkalmazással!

#177 Stream Processing & Kafka: Die Basis moderner Datenpipelines mit Stefan Sprenger

1:07:40
 
Megosztás
 

Manage episode 459790556 series 3432292
A tartalmat a Wolfgang Gassler, Andy Grunwald, Wolfgang Gassler, and Andy Grunwald biztosítja. Az összes podcast-tartalmat, beleértve az epizódokat, grafikákat és podcast-leírásokat, közvetlenül a Wolfgang Gassler, Andy Grunwald, Wolfgang Gassler, and Andy Grunwald vagy a podcast platform partnere tölti fel és biztosítja. Ha úgy gondolja, hogy valaki az Ön engedélye nélkül használja fel a szerzői joggal védett művét, kövesse az itt leírt folyamatot https://hu.player.fm/legal.

Data Streaming und Stream Processing mit Apache Kafka und dem entsprechenden Ecosystem.

Eine ganze Menge Prozesse in der Softwareentwicklung bzw. für die Verarbeitung von Daten müssen nicht zur Laufzeit, sondern können asynchron oder dezentral bearbeitet werden. Begriffe wie Batch-Processing oder Message Queueing / Pub-Sub sind dafür geläufig. Es gibt aber einen dritten Player in diesem Spiel: Stream Processing. Da ist Apache Kafka das Flaggschiff, bzw. die verteilte Event Streaming Platform, die oft als erstes genannt wird.

Doch was ist denn eigentlich Stream Processing und wie unterscheidet es sich zu Batch Processing oder Message Queuing? Wie funktioniert Kafka und warum ist es so erfolgreich und performant? Was sind Broker, Topics, Partitions, Producer und Consumer? Was bedeutet Change Data Capture und was ist ein Sliding Window? Auf was muss man alles acht geben und was kann schief gehen, wenn man eine Nachricht schreiben und lesen möchte?

Die Antworten und noch viel mehr liefert unser Gast Stefan Sprenger.

Bonus: Wie man Stream Processing mit einem Frühstückstisch für 5-jährige beschreibt.

Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners

Das schnelle Feedback zur Episode:

👍 (top) 👎 (geht so)

Feedback

Links

Sprungmarken

(00:00:00) Streaming mit Kafka mit Stefan Sprenger

(00:06:18) Data Streaming und Stream Processing für 5-Jährige

(00:07:40) Data Streaming und Stream Processing für Mid-Level-Engineers

(00:07:47) Info/Werbung

(00:08:47) Data Streaming und Stream Processing für Mid-Level-Engineers

(00:14:14) Was ist Apache Kafka?

(00:20:54) Datensätze in Apache Kafka: Produzieren und Konsumieren

(00:25:58) Kafka Streams und Kafka Connect

(00:30:34) Change Data Capture

(00:34:36) Herausforderungen bei der Anwendung von Kafka, Kafka Streams und Kafka Connect

(00:42:54) Compaction, Retention, Replication, Acknowledgement, Joins und Idempotenz

(00:53:46) Einsatz in Organisationen: Governance und Schema Registry

(00:59:00) Verteiltes System und komplexe Technologien

(01:01:47) Die Zukunft um Kafka und das Ecosystem

Hosts

Feedback

  continue reading

217 epizódok

Artwork
iconMegosztás
 
Manage episode 459790556 series 3432292
A tartalmat a Wolfgang Gassler, Andy Grunwald, Wolfgang Gassler, and Andy Grunwald biztosítja. Az összes podcast-tartalmat, beleértve az epizódokat, grafikákat és podcast-leírásokat, közvetlenül a Wolfgang Gassler, Andy Grunwald, Wolfgang Gassler, and Andy Grunwald vagy a podcast platform partnere tölti fel és biztosítja. Ha úgy gondolja, hogy valaki az Ön engedélye nélkül használja fel a szerzői joggal védett művét, kövesse az itt leírt folyamatot https://hu.player.fm/legal.

Data Streaming und Stream Processing mit Apache Kafka und dem entsprechenden Ecosystem.

Eine ganze Menge Prozesse in der Softwareentwicklung bzw. für die Verarbeitung von Daten müssen nicht zur Laufzeit, sondern können asynchron oder dezentral bearbeitet werden. Begriffe wie Batch-Processing oder Message Queueing / Pub-Sub sind dafür geläufig. Es gibt aber einen dritten Player in diesem Spiel: Stream Processing. Da ist Apache Kafka das Flaggschiff, bzw. die verteilte Event Streaming Platform, die oft als erstes genannt wird.

Doch was ist denn eigentlich Stream Processing und wie unterscheidet es sich zu Batch Processing oder Message Queuing? Wie funktioniert Kafka und warum ist es so erfolgreich und performant? Was sind Broker, Topics, Partitions, Producer und Consumer? Was bedeutet Change Data Capture und was ist ein Sliding Window? Auf was muss man alles acht geben und was kann schief gehen, wenn man eine Nachricht schreiben und lesen möchte?

Die Antworten und noch viel mehr liefert unser Gast Stefan Sprenger.

Bonus: Wie man Stream Processing mit einem Frühstückstisch für 5-jährige beschreibt.

Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners

Das schnelle Feedback zur Episode:

👍 (top) 👎 (geht so)

Feedback

Links

Sprungmarken

(00:00:00) Streaming mit Kafka mit Stefan Sprenger

(00:06:18) Data Streaming und Stream Processing für 5-Jährige

(00:07:40) Data Streaming und Stream Processing für Mid-Level-Engineers

(00:07:47) Info/Werbung

(00:08:47) Data Streaming und Stream Processing für Mid-Level-Engineers

(00:14:14) Was ist Apache Kafka?

(00:20:54) Datensätze in Apache Kafka: Produzieren und Konsumieren

(00:25:58) Kafka Streams und Kafka Connect

(00:30:34) Change Data Capture

(00:34:36) Herausforderungen bei der Anwendung von Kafka, Kafka Streams und Kafka Connect

(00:42:54) Compaction, Retention, Replication, Acknowledgement, Joins und Idempotenz

(00:53:46) Einsatz in Organisationen: Governance und Schema Registry

(00:59:00) Verteiltes System und komplexe Technologien

(01:01:47) Die Zukunft um Kafka und das Ecosystem

Hosts

Feedback

  continue reading

217 epizódok

Minden epizód

×
 
Loading …

Üdvözlünk a Player FM-nél!

A Player FM lejátszó az internetet böngészi a kiváló minőségű podcastok után, hogy ön élvezhesse azokat. Ez a legjobb podcast-alkalmazás, Androidon, iPhone-on és a weben is működik. Jelentkezzen be az feliratkozások szinkronizálásához az eszközök között.

 

Gyors referencia kézikönyv

Hallgassa ezt a műsort, miközben felfedezi
Lejátszás