DET Seattle Meetup - 16. Juli

Das Data Engineer Things (DET) Seattle Meetup konzentriert sich darauf, persönliche Networking-Veranstaltungen für die Datenengineering-Community zu organisieren. Schließen Sie sich unserem Meetup für Vorträge von Branchenexperten an und vernetzen Sie sich mit gleichgesinnten Datenprofis! Alle Erfahrungsstufen sind willkommen. Standort Downtown Seattle (Der Eingang des Gebäudes befindet sich an der Olive Way und der Terry Street) Parken Öffentliche Parkplätze und der Parkplatz am Kongresszentrum sind verfügbar. Es gibt auch einige Fahrradabstellplätze am Kongresszentrum gegenüber der Straße, falls benötigt. Redner Himanshi Manglunia - Von Manuell zu Magisch: Aufbau von KI-Agenten für die ETL-AutomatisierungAbstract: Dateningenieure verbringen unzählige Stunden mit sich wiederholenden ETL-Erweiterungen — Spalten hinzufügen, Transformationen aktualisieren, Schemaabweichungen beheben. Eine "einfache" Pipeline-Änderung, die 90 Minuten dauern sollte, schlägt regelmäßig in einen ganzen Tag voller Kontextwechsel, Neuimplementierungszyklen und Debugging aus. Was wäre, wenn KI-Agenten diese Änderungen von Anfang bis Ende übernehmen könnten? In diesem Vortrag werden wir das Design eines selbstheilenden ETL-Automatisierungssystems, das von KI-Agenten unterstützt wird, durchgehen. Anstatt nur einmaligen Code zu generieren, führt das System einen vollständigen Workflow aus: Anforderungen aus natürlicher Sprache analysieren, SQL ändern und dabei die Kodiermuster des Teams bewahren, Bereitstellung in der Cloud-Infrastruktur, Überwachung der Ausführung mit exponentiellem Backoff und automatische Wiederherstellung von häufigen Fehlern — alles ohne menschliches Eingreifen. Wir beginnen mit den tatsächlichen Kosten der sich wiederholenden Pipeline-Arbeiten und was eine Aufgabe zu einem guten Kandidaten für die Automatisierung macht. Dann werden wir die Architektur aufschlüsseln: Wie der Agent Schemas über Metadatenkataloge validiert, Airflow DAGs bereitstellt und auslöst, Fehler als auto-reparierbar oder als solche, die menschliches Eingreifen erfordern, klassifiziert und bis zu 3 Mal wiederholt, bevor er eskaliert. Wir werden auch erörtern, warum das KI-Modell nur ein Bruchteil der Lösung ist — das eigentliche Produkt ist die Kontextschicht: SchutzvorrichtungenÜber Himanshi: Himanshi Manglunia ist Dateningenieurin bei Amazon Web Services mit fast einem Jahrzehnt Erfahrung im Aufbau von Datenpipelines in den Bereichen Finanzdienstleistungen, Zahlungen und Cloud-Technologie. Bei AWS arbeitet sie an Datenengineering und MLOps, entwirft große Dateninfrastrukturen, die kritische Geschäftsentscheidungen unterstützen. Himanshi ist leidenschaftlich daran interessiert, KI-Agenten einzusetzen, um sich wiederholende Ingenieursarbeiten zu eliminieren, und dieser Vortrag zieht aus ihren praktischen Erfahrungen beim Aufbau autonomer ETL-AutomatisierungssystemeChad Sanderson - Zukunft des Datenmanagements unter Verwendung von Techniken aus dem SicherheitsbereichAbstract: In dieser Sitzung wird Chad die Zukunft des Datenmanagements erörtern und wie die fortschrittlichsten Unternehmen der Welt Datenherkunft und -qualität anwenden, bevor Codeänderungen überhaupt in die Produktion geschoben werden, unter Verwendung von Techniken aus dem Sicherheitsbereich in neuartigen Anwendungen.Über Chad: Chad Sanderson ist der Autor von Data Contracts: Building Production Grade Pipelines at Scale und CEO von Gable.ai. Chad hat das letzte Jahrzehnt an der Spitze des Datenmanagements verbracht und die Begriffe Datenverträge und Shift Left Data geprägt, mit dem Ziel, die Datenqualität in den Entwicklungszyklus der Anwendung zu integrieren. Wie man Vorträge einreicht Wir suchen immer nach Rednern! Reichen Sie Ihre Vortragideen HIER ein. ​Sponsoren Prost! Das DET Seattle Team ℹ️ Über Data Engineer Things Data Engineer Things (DET) ist eine globale Community, die von Dateningenieuren für Dateningenieure aufgebaut wurde. Abonnieren Sie den Newsletter und folgen Sie uns auf LinkedIn, um Zugang zu exklusiven Lernressourcen und Networking-Möglichkeiten zu erhalten, einschließlich Artikeln, Webinaren, Meetups, Konferenzen, Mentorship und mehr.