DET Seattle Meetup - 16 lipca

Spotkanie Data Engineer Things (DET) w Seattle koncentruje się na organizowaniu wydarzeń networkingowych na żywo dla społeczności inżynierów danych. Dołącz do naszego spotkania, aby wysłuchać wykładów od ekspertów z branży i połączyć się z podobnie myślącymi profesjonalistami w dziedzinie danych! Wszystkie poziomy doświadczenia są mile widziane.LokacjaCentrum Seattle (Wejście do budynku znajduje się na Olive Way i Terry street)ParkingMożliwość parkowania na ulicy oraz w parkingu przy centrum konferencyjnym. Jest również dostępny parking rowerowy przy centrum konferencyjnym po drugiej stronie ulicy, jeśli zajdzie taka potrzeba.PrelegenciHimanshi Manglunia - Od Manualnego do Magii: Budowanie agentów AI do automatyzacji ETLAbstrakt: Inżynierowie danych spędzają niezliczone godziny na powtarzalnych ulepszeniach ETL — dodawaniu kolumn, aktualizacji transformacji, naprawie różnic w schematach. "Prosta" zmiana w potoku, która powinna zająć 90 minut, rutynowo zamienia się w cały dzień zmiany kontekstu, cykle ponownej wdrożenia i debugowanie. Co by było, gdyby agenci AI mogli zająć się tymi zmianami od początku do końca? W tym wykładzie przeanalizujemy projekt systemu automatyzacji ETL, który sam się naprawia, wspomaganego przez agentów AI. Zamiast jednorazowej generacji kodu, system wykonuje pełny przepływ pracy: analizowanie wymagań z języka naturalnego, modyfikowanie SQL z zachowaniem wzorców kodowania zespołu, wdrażanie do infrastruktury chmurowej, monitorowanie wykonania z wykładniczym spadkiem oraz automatyczne odzyskiwanie z typowych awarii - wszystko bez interwencji człowieka. Zaczniemy od rzeczywistego kosztu powtarzalnej pracy w potokach i tego, co czyni zadanie dobrym kandydatem do automatyzacji. Następnie dokonamy analizy architektury: jak agent weryfikuje schematy za pomocą katalogów metadanych, wdraża i uruchamia Airflow DAG, klasyfikuje awarie jako nadające się do automatycznej naprawy lub wymagające interwencji człowieka oraz podejmuje do 3 prób przed eskalacją. Omówimy również, dlaczego model AI jest tylko ułamkiem rozwiązania - prawdziwym produktem jest warstwa kontekstowa: barierkiO Himanshi: Himanshi Manglunia jest inżynierem danych w Amazon Web Services z niemal dekadą doświadczenia w budowaniu potoków danych w sektorze usług finansowych, płatności oraz technologii chmurowych. W AWS pracuje nad inżynierią danych i MLOps, projektując infrastruktury danych w dużej skali, które wspierają kluczowe decyzje biznesowe. Himanshi pasjonuje się wykorzystaniem agentów AI do eliminacji powtarzalnej pracy inżynieryjnej, a ten wykład czerpie z jej praktycznego doświadczenia w budowaniu autonomicznych systemów automatyzacji ETLChad Sanderson - Przyszłość zarządzania danymi przy użyciu technik zapożyczonych z przestrzeni bezpieczeństwaAbstrakt: W tej sesji Chad omówi przyszłość zarządzania danymi oraz to, jak najbardziej zaawansowane firmy na świecie stosują genealogie danych i jakość przed wprowadzeniem jakichkolwiek zmian w kodzie do produkcji, przy użyciu technik zapożyczonych z dziedziny bezpieczeństwa w nowatorskich zastosowaniach.O Chada: Chad Sanderson jest autorem książki Data Contracts: Building Production Grade Pipelines at Scale oraz CEO Gable.ai. Chad spędził ostatnią dekadę na czołowej pozycji w zarządzaniu danymi, wprowadzając terminy kontrakty danych oraz shift left data z celem wprowadzenia jakości danych do cyklu życia rozwoju aplikacji.Jak Zgłaszać WykładyZawsze szukamy prelegentów! Prześlij swoje pomysły na wykłady TUTAJ.​SponsorzyCześć!Zespół DET Seattleℹ️ O Data Engineer ThingsData Engineer Things (DET) to globalna społeczność stworzona przez inżynierów danych dla inżynierów danych. Zapisz się na newsletter i obserwuj nas na LinkedIn, aby uzyskać dostęp do ekskluzywnych zasobów edukacyjnych i okazji do networkingu, w tym artykułów, webinarów, spotkań, konferencji, mentoringu i nie tylko.