Eingeschränkte Autonomie: KI-Modelle, Gedächtnis und Retrieval am Edge

Beschreibung

Beschreibung Diese Sitzung untersucht die praktischen Ingenieursherausforderungen bei der Bereitstellung von KI in eingeschränkten physischen Systemen und Edge-Geräten. Durch die Aufspaltung des On-Device-Stacks in Modelle, Gedächtnis und Retrieval behandelt die Veranstaltung die Wirtschaftlichkeit von lokalem LLM-Inferenz, das Design agentischen Gedächtnisses zur kontinuierlichen Zustandsverwaltung und die Implementierung von eingebettetem Vektor-Search für Offline-Autonomie. Die Veranstaltung richtet sich an Ingenieure, die in Robotik, angewandtem ML und eingebetteten Systemen arbeiten, und konzentriert sich auf den Aufbau widerstandsfähigen agentischen Verhaltens, das zuverlässig ohne Cloud-Abhängigkeiten funktioniert. ​Agenda Wir beginnen auf der Modellebene, indem wir die Hardwaremechanik und die Wirtschaftlichkeit des Betriebs von LLMs direkt auf Edge-Geräten analysieren. Anschließend untersuchen wir agentisches Gedächtnis, erkunden, wie langfristig arbeitende Agenten den Zustand beibehalten, Teilziele bewerten und Kontextgrenzen ohne Cloud-Infrastruktur verwalten. Wir schließen mit der Retrieval-Ebene ab und demonstrieren, wie eingebettete Vektormotoren Sub-Millisekunden, offline hybride Suche direkt in IoT-Hardware und autonomen Robotik ermöglichen. 18:00 Türen öffnen 18:30 - 19:00 LLM-Inferenzwirtschaft: Von Rechenzentren zum Edge (Paul Willot, Senior MLE @ Liquid AI) 19:00 - 19:30 Agentisches Gedächtnis für Edge-Geräte (Stefania Druga, Staff Research Scientist @ Sakana AI RSI Lab) 19:30 - 20:00 Agentisches Retrieval für IoT-Hardware und autonome Systeme (Ewa Szyszka, DevRel Engineer @ Qdrant) 20:00 - 21:00 Networking 21:00 Türen schließen Gespräche Gespräch 1 - LLM-Inferenzwirtschaft: Von Rechenzentren zum Edge Referent: Paul Willot (Senior MLE, Liquid AI) Abstract: Während Sprachmodelle über das Rechenzentrum hinaus auf Laptops, Smartphones, Roboter und andere Edge-Geräte ausgedehnt werden, stellt sich eine grundlegende Frage: Wo macht es wirtschaftlich Sinn, Intelligenz zu betreiben? Dies zu beantworten erfordert einen Blick hinter die Modellbenchmarks auf die Mechanik der Inferenz selbst: Wie Speicherbandbreite, Modellgröße, Hardwareauslastung und Parallelität die Kosten und die Geschwindigkeit der Tokenproduktion bestimmen. Rechenzentren profitieren von der Skalierung und teilen sich die Kosten großer Modelle über viele gleichzeitige Benutzer. Edge-Geräte sehen sich einem anderen Regime gegenüber, in dem die Ressourcen stärker eingeschränkt sind und es weit weniger Möglichkeiten gibt, Inferenz durch große Chargen zu amortisieren. Dies macht das Design von Modellen und Systemen zunehmend wichtig: Quantisierung, Sparsamkeit, hybride Architekturen, Caching und andere Techniken können das Verhältnis zwischen Kosten, Durchsatz und Interaktivität erheblich verändern. Anhand der Arbeiten von Liquid AI an effizienten Fundamentmodellen wird der Vortrag untersuchen, wie diese Trade-offs die aufkommende Rolle der Edge-Intelligenz prägen. Neueste Techniken wie spekulatives Decoding (einschließlich Liquid AIs DSpark-Arbeit) veranschaulichen, wie das Überdenken des Inferenz-Stacks die Leistungsgrenze verschieben kann und immer leistungsfähigere Modelle auf einer viel breiteren Palette von Hardware praktikabel macht. Bio: Paul Willot ist Senior Engineer bei Liquid AI Japan, wo er die Arbeiten an effizienten KI-Modellen im Bereich Vision, Audio und Sprache leitet. Er verfügt über mehr als ein Jahrzehnt Erfahrung in der Forschung und Produktion von maschinellem Lernen, mit früheren Positionen bei Mercari, Elix und Alpaca Japan. Seine Arbeiten reichten von großangelegter Suche und latenzarmen ML-Systemen bis hin zu Computer Vision und Modellen, die auf energieeffizienter Edge-Hardware eingesetzt werden. Er hat einen Master-Abschluss in Data Science und Machine Learning von der Sorbonne Universität und interessiert sich besonders dafür, fortschrittliche KI-Modelle in realen Systemen praktikabel und effizient zu gestalten. Gespräch 2 - Agentisches Gedächtnis für Edge-Geräte: Lektionen von langfristig arbeitenden Forschungsagenten Referent: Stefania Druga (Staff Research Scientist, Sakana.ai RSI Lab) Abstract: Bei Sakana AI erstellen wir Agenten, die Hunderte von Durchläufen benötigen, um Literatur zu lesen, Experimente durchzuführen und Arbeiten zu entwerfen. Das Modell ist selten die einzige Einschränkung. Der umgebende Rahmen vergisst frühere Entscheidungen, wiederholt erledigte Arbeiten, ruft den falschen Zustand ab oder entfällt von der ursprünglichen Forschungsfrage. Edge- und physisch verkörperte Agenten stehen vor demselben Gedächtnisproblem unter noch engeren Grenzen bezüglich Kontext, Rechenleistung, Speicher und Konnektivität. Anhand unserer bestehenden Experimente mit langfristig arbeitenden Forschungsagenten werde ich zeigen, wann Gedächtnis hilft, wann es teuer wird und was passiert, wenn der relevante Zustand aus dem Kontext fällt. Ich werde Gedächtnisabschaltung, umgesetzten Rückruf, Gating, aktive Subzielbewertung und Oracle-Bedingungen vergleichen und zeigen, dass die Hauptverbesserung aus der Bewertung des bisherigen Zustands durch das aktuelle Teilziel kam. Dies ist ein praktischer Feldleitfaden für Gedächtnissysteme: Kontextverrückung, schrittweise Offenlegung, Rückruf-zuerst-Kompaktion, strukturiertes Entscheidungs-Gedächtnis und Trajektorienbewertung. Das zentrale Argument ist, dass agentisches Gedächtnis nicht nur Speicherung ist; es ist eine Richtlinie, um zu entscheiden, welche vergangenen Informationen in der gegenwärtigen Handlung Autorität haben sollten. Bio: Stefania Druga ist Staff Research Scientist im RSI-Labor von Sakana AI, wo sie Gedächtnis, kontinuierliches Lernen und Selbstverbesserung in agentischen Systemen untersucht. Zuvor war sie AI Research Scientist bei Google DeepMind und führte Forschung am MIT Media Lab durch. Sie hat einen Doktortitel von der University of Washington und einen Master-Abschluss vom MIT. Ihre Arbeiten umfassen Agentenevaluation, multimodale Interaktion und verkörperte KI, mit einem Fokus auf Systeme, die aus Erfahrungen lernen und über eine einzelne Sitzung hinaus zuverlässig bleiben. Gespräch 3 - Qdrant Edge: agentisches Retrieval für IoT-Hardware und autonome Systeme Referent: Ewa Szyszka (DevRel Engineer, Qdrant) Abstract: Agenten, die auf Hardware laufen, können nicht auf ein Netzwerk warten. Ein Roboter, der entscheidet, wo er als nächstes treten soll, oder eine Drohne in einem Gebäude ohne Uplink benötigt ein Retrieval, das dort erfolgt, wo die Daten erstellt werden. Qdrant Edge ist die Qdrant-Vektorsuchmaschine als eingebettete Bibliothek: Sie öffnen einen Shard auf einem lokalen Datenträger in Ihrem eigenen Prozess, schreiben Embeddings hinein und fragen sie offline ab, mit einem Installationsfußabdruck von etwa 11 MB und ohne Server, kein Docker, keine Hintergrundthreads. Dieser Vortrag führt durch die On-Device-agentische Schleife (erfassen, einbetten, suchen, entscheiden) unter Verwendung einer Live-Demo eines Roboters, bei der hybride Suchen über dichte Vision-Vektoren und BM25-Untertitel Ergebnisse in weniger als einer Millisekunde zurückgibt. Bio: Ewa Szyszka ist DevRel Engineer bei Qdrant, wo sie an angewandter Vektorsuche arbeitet, von der Indizierung, Überprüfung und Inspektion der Embeddings aus Modellen wie ESM-2 in großem Maßstab bis hin zur Optimierung der agentischen Retrieval-Latenz auf Edge-Geräten. Zuvor arbeitete sie in der Forschung und Entwicklung von Computer Vision, Benchmarks, Observability und Anwendungen von KI in Unterwasser-Navigationsgeräten für marine Anwendungen an der Keio-Universität. ​Organisatoren Ilya Kulyatin ist Unternehmer mit Arbeits- und akademischer Erfahrung in den USA, den Niederlanden, Singapur, dem Vereinigten Königreich und Japan. Er hat einen BA in Wirtschaftswissenschaften, einen MA in Finanzen und einen MSc in Maschinellem Lernen. Er ist dreifacher Gründer und hilft Japan jetzt beim Wachstum des lokalen KI-Ökosystems durch eine gemeinnützige Gemeinschaft, Tokyo AI (TAI), während er ein KI-natives Systemintegrator- und Lösungsanbieter, Foundry Labs株式会社, aufbaut. Ewa Szyszka ist DevRel Engineer bei Qdrant, der Open-Source-Vektordatenbank, wo sie an Retrieval für wissenschaftliche und multimodale Daten arbeitet. Sie organisiert gemeinsam Veranstaltungen von Tokyo AI (TAI) an der Schnittstelle von KI und Lebenswissenschaften. ​Unterstützer Foundry Labs K.K. ist ein in Tokio ansässiger KI-Systemintegrator und Lösungsanbieter, der umfassende Unterstützung für Unternehmen bietet: von der Strategieentwicklung über die Implementierung, Bereitstellung und den Betrieb. Sie passen KI an die operativen, regulatorischen und sicherheitstechnischen Anforderungen jedes Kunden an und verfügen über praktische Erfahrung in den Bereichen Finanzen, Regierung und Industrie sowie eine Erfolgsbilanz bei der Lieferung von Produktionssystemen in sicheren und regulierten Umgebungen. Qdrant ist eine Open-Source-Vektorsuchmaschine, die entwickelt wurde, um hochdimensionale Daten in großem Maßstab zu verarbeiten. Sie treibt die Retrieval-Ebene hinter einigen der anspruchsvollsten KI-Anwendungen in der Produktion heute an, von RAG-Pipelines bis hin zu Empfehlungssystemen und KI-Agenten, indem sie Entwicklern eine schnelle, präzise Ähnlichkeitssuche bereitstellt, wo immer sie benötigt wird. Über TAI Tokyo AI (TAI) ist die größte internationale KI-Gemeinschaft in Japan, mit über 5.000 Mitgliedern, die hauptsächlich in Tokio ansässig sind: Ingenieure, Forscher, Investoren, Produktmanager und Führungskräfte für Unternehmensinnovation. Durch über 80 Veranstaltungen pro Jahr und mehr als 300 Referenten aus Startups, Unternehmen und der Wissenschaft verbindet TAI die Menschen, die KI in Japan aufbauen, mit dem globalen Ökosystem und arbeitet daran, Tokio in ein globales KI-Zentrum zu verwandeln. ​​Datenschutzrichtlinie Wir werden Ihre E-Mail-Adresse zum Zweck der veranstaltungsbezogenen Kommunikation und fortlaufenden Newsletter-Kommunikation verarbeiten. Sie können sich jederzeit von dem Newsletter abmelden. Weitere Informationen darüber, wie wir personenbezogene Daten verarbeiten, finden Sie in unserer Datenschutzrichtlinie.