Agrar-Robotik meets MLOps
Das DFKI (Deutsches Forschungszentrum für Künstliche Intelligenz) ist ein in Deutschland angesiedeltes Forschungsinstitut mit diversen Forschungsschwerpunkten. Am Standort Osnabrück befasst sich der Forschungsbereich Planbasierte Robotersteuerung (PBR) unter anderem mit der Anwendungsdomäne Agrar. Dabei werden lernbasierte Verfahren zur Interpretation von Sensordaten zum Beispiel für die Lokalisierung, Objekterkennung oder Pfadplanung in robotischen Systemen eingesetzt.
Zur Gestaltung der KI-Systeme soll am DFKI langfristig eine MLOps-Infrastrukur aufgebaut werden, welche die Entwicklung lernbasierter Systeme nachhaltig unterstützt. Der folgende Artikel stellt eine Übersicht des aktuellen Konzepts sowie der Architektur dar. Die Beschreibung orientiert sich dabei an dem Forschungsvorhaben AI-TEST-FIELD, welches als Use Case zur Integration verwendet wird. Weiter beinhaltet sie wesentliche Bestandteile der KI-Entwicklung in Verbindung mit MLOps. In Abschnitt 2 werden zunächst die Anwendungsdomäne Agrar charakterisiert und Einsatzmöglichkeiten von KI-Algorithmen zum zielgerichteten Handeln diskutiert. Anhand des Use Cases AI-TEST-FIELD wird die Evaluation von KI-Methoden in Sensorsystemen zur Umfeldwahrnehmung vorgestellt. Im Abschnitt 3 wird auf die Integration von MLOps detailliert eingegangen und es werden die Vorteile des Einsatzes von MLOps aufgezeigt.
KI in AgTech
Die Landwirtschaft als Teil des primären Wirtschaftssektors trägt seit jeher zur Entwicklung und Ernährung der Bevölkerung bei. Die wachsende Weltbevölkerung in Verbindung mit einem aufkommenden Fachkräftemangel und fortschreitender Klimakrise verlangen Innovationen zur Erhöhung von Qualität und Quantität der produzierten landwirtschaftlichen Erzeugnisse bei gleichzeitigem Erhalt unseres Lebensraums. Mit der Verfügbarkeit von zeitlich und räumlich hochauflösenden Sensoren entstehen Neuerungen, bei deren Entwicklung die Interpretation von großen Datenmengen im Zentrum steht.
Charakteristik der Landwirtschaft
Eine wesentliche Charakteristik der Landwirtschaft ist die fehlende Deterministik und somit eine große Unsicherheit in den einzelnen Umgebungen, die weder vollständig beobachtbar noch beeinflussbar sind. Dies betrifft mitunter das Verhalten von Tieren, die Ausbreitung von Schädlingen und Krankheiten sowie die Vegetation und die Wetterveränderungen im Feld. Im Kontrast zur Landwirtschaft ist die KI eine äußerst junge Wissenschaft, die zum zielorientierten Handeln in Agri-Food-Anwendungen schon jetzt beiträgt. Neben Assistenz- und Entscheidungsunterstützungssystemen, welche zur Planung der landwirtschaftlichen Tätigkeiten verwendet werden, wird KI beispielsweise zur Automatisierung von ackerbaulichen Prozessen eingesetzt.
Zur Bodenbearbeitung, der Aussaat, dem Pflanzenschutz und der Ernte bewegen sich schwere Maschinen auf definierten Routen über die Felder. Neben der Lokalisierung über präzise Satellitennavigation (RTK GNSS) kann der Pfad der Maschinen durch eine Erkennung von Reihen und Einzelpflanzen korrigiert werden. Für den zielgerichteten Pflanzenschutz wird durch Kamerasysteme zwischen Nutzpflanzen sowie Un- und Beikräutern unterschieden. Bei der Ernte von High-Value Crops, wie zum Beispiel Obst oder Gemüse, ist der Erntezeitpunkt entscheidend. Daher ist eine Erkennung von Reifegrad und Qualität notwendig. Zum Ernten der reifen Früchte wird deren Lage durch Sensorsysteme erfasst, sodass ein Greifer diese dann gezielt pflücken kann. Falsche Vorhersagen der KI führen in bestimmten Situationen zu schwerwiegenden Fehlern in den Anwendungen. Somit ist die Gewährleistung von einwandfrei funktionierenden Systemen von besonderer Bedeutung.
Use Case: AI-TEST-FIELD
In dem vom Bundesministerium für Landwirtschaft und Ernährung (BMEL) geförderten Verbundvorhaben AI-TEST-FIELD werden von den Partnern Hochschule Osnabrück, LEMKEN GmbH & Co. KG und Maschinenfabrik Bernard Krone GmbH & Co. KG unter der Leitung des DFKI-Forschungsbereichs PBR Methoden zur Evaluation von Sensorsystemen untersucht. Beim Betrieb einer automatisierten Maschine auf dem Feld ist es unerlässlich, dass eine Fehlfunktion nicht zur Gefährdung von Personen führt. Bei schweren Maschinen sind hierfür besondere Vorkehrungen erforderlich, um die Zuverlässigkeit unter allen definierten Einsatzbedingungen zu garantieren. Dazu zählt das Stoppen der Maschine, wenn Hindernisse und gefährdete Objekte wie Menschen und Tiere in deren Nähe kommen.
Während sich die Funktion einer Bremse beispielsweise auf einem Bremsenprüfstand unter Laborbedingungen testen lässt, ist die Umfeldwahrnehmung stark abhängig von den Umgebungsbedingungen. Dies ist ein Anwendungsgebiet, in dem auf den ersten Blick KI-Algorithmen als ideales Werkzeug erscheinen. Aber gerade bei kritischen Anwendungen ist die Zuverlässigkeit der Interpretation durch die Algorithmen entscheidend und es existieren signifikante Schwachstellen bei KI-Modellen [1].
Die Performance von KI-Modellen hängt von den Trainingsdaten und folglich der Qualität der Label ab. Auch die Datenverteilung ist mitunter nur eine Approximation von einem Teil der realen Welt, sodass nicht alle potentiell eintretenden Fälle in den Daten vertreten sind. Die Reaktion auf unvorhergesehene Szenarien ist folglich unklar. Bei der Unkrauterkennung können Nutzpflanzen durch schlecht kalibrierte Konfidenzwerte fälschlicherweise als False-Positives mit zu hoher Konfidenz erkannt werden. Auch die Aussagekraft von gewöhnlichen Metriken für die Evaluation von Algorithmen, wie etwa Average Precision, ist begrenzt.
Um die Robustheit von KI-Algorithmen in speziellen Anwendungen zu untersuchen, ist folglich zunächst eine breite Datenbasis notwendig. Da sich das Wetter und die Vegetation naturgemäß fortlaufend ändern, ist der Zeitraum für die Aufzeichnung von speziellen Trainings- und Evaluationsdaten in der Landwirtschaft saisonal begrenzt. Dies erschwert die Generierung von vergleichbaren Datensätzen. Aus diesem Grund wurde in dem seit 2021 laufenden Forschungsprojekt eine landwirtschaftliche Testumgebung aufgebaut, in der ein Sensorträger über ein Schienensystem bei unterschiedlichen Umgebungsbedingungen auf reproduzierbaren Trajektorien gezogen wird.
Bei diesen Versuchen werden wiederkehrend große Mengen an Sensor-Rohdaten, wie sie in Abb. 1 dargestellt sind, aufgezeichnet. Die Speicherung und Analyse dieser Daten führen zu einem erheblichen Bedarf an Speicher und Bandbreite. Folglich ist manuelle Auswertung von Versuchen nicht mehr möglich und das Entwickeln von systematischen Evaluationsstrategien und automatisierten Pipelines ist essentiell.
MLOps-Integration
In den nachfolgenden Abschnitten wird beschrieben, wie sich die Entwicklung von Software im Allgemeinen in einem Forschungsinstitut gestaltet und welche Herausforderungen es gibt. Anschließend wird der Fokus auf MLOps gelegt und die Integration als Unterstützung im Use Case AI-Test-Field beschrieben.
Software-Entwicklung in einem Forschungsinstitut
In einem Forschungsinstitut richtet sich der Hauptfokus, wie der Name bereits verrät, auf die Forschung. Ein solches Institut kann sich – je nach Größe – in einzelne Themenschwerpunkte untergliedern, wie beispielsweise Robotersteuerung, Computer Vision oder Reinforcement Learning. Die Mitarbeitenden werden in Teams organisiert, die zu den Themenschwerpunkten passen. Die Forschung als solches findet in verschiedenen Forschungsprojekten statt, mit unterschiedlichen Laufzeiten, typischerweise zwischen einem und fünf Jahren. In diesen Projekten arbeiten verschiedene Gruppen von Mitarbeitenden, die auf Grund ihrer Fähigkeiten und Fertigkeiten dafür geeignet sind und aus einem oder unterschiedlichen Teams stammen können.
Durch die Forschungsarbeit ergeben sich dabei besondere Herausforderungen, insbesondere in Bezug auf die projektübergreifende Kooperation und Kommunikation. Beispielsweise könnte hier die Entwicklung von Software-Paketen für ein Projekt teilweise noch auf lokalen Computern stattfinden oder gegebenenfalls direkt auf Robotern. Im Extremfall wird der Source-Code eher unregelmäßig oder nur zum Backup in ein Repository übertragen. Modernes Software-Engineering, wie die Beachtung von Clean-Code, die Entwicklung von Tests oder die Bereitstellung von Docker-Containern, stellen herausfordernde Aufgaben dar.
In den skizzierten Fällen ist das Teilen von Software-Komponenten über Projektgrenzen hinweg schwieriger zu realisieren. Weitere Artefakte, wie Datensätze, Veröffentlichungen oder relevante Erkenntnisse, können nach Beendigung eines Projekts im Archiv landen und geraten so in Vergessenheit. Somit könnte bei einem nachfolgenden Projekt mit der Entwicklung von Neuem begonnen werden, anstatt auf bereits bestehende Ergebnisse aufzubauen. Schließlich ist die Fluktuation innerhalb eines Forschungsinstituts vergleichsweise hoch, so dass beim Ausscheiden eines Mitarbeitenden auch das erworbene Wissen verloren gehen kann.
Die beschriebenen Herausforderungen sind insgesamt eine etwas überspitzte Darstellung der Realität, sollen jedoch die Verbesserungspotentiale im Rahmen derartiger Forschungskontexte aufzeigen. Durch die Integration eines MLOps-Systems möchte man nun grundsätzlich diese Herausforderungen adressieren, um die relevanten Arbeiten effektiver und effizienter zu gestalten und somit langfristig bessere Forschungsergebnisse zu erzielen.
Begriffserklärung MLOps
Bevor genauer darauf eingegangen wird, wie MLOps in Verbindung mit dem Use Case AI-TEST-FIELD umgesetzt wurde, wird zunächst der Begriff grundlegend erklärt.
MLOps ist die Fusion von Machine Learning und DevOps-Prinzipien [2]. Die DevOps-Prinzipien konnten sich in den vergangenen Jahren im Bereich des Software-Engineerings gut etablieren und helfen dabei, die Entwicklung von Software u. a. strukturierter, transparenter und stressfreier zu gestalten. Kernbestandteil des DevOps sind die Methoden Continuous Integration (CI) und Continuous Deployment (CD), welche Vorgehensweisen beschreiben, um Source-Code so automatisiert wie möglich von einem lokalen Computer bis auf ein Produktivsystem zu übertragen. Dabei werden meist sogenannte Build-Pipelines entwickelt, welche die Software bei Änderungen automatisch baut, testet und schließlich bereitstellt. Ein weiterer wesentlicher Faktor ist, die Software so zu gestalten, dass diese umgebungsunabhängig und reproduzierbar ausgeführt werden kann.
Durch MLOps sollen diese Prinzipien und Vorgehensweisen auch auf die Entwicklung von KI-Systemen angewendet werden. Dabei beinhaltet MLOps Prozess-, Artefakt- und Rollenbeschreibungen, welche über die DevOps-Prinzipien hinausgehen [3]. Die Hauptbestandteile von MLOps umfassen dabei [4]:
- Sammeln von Daten
- Entwicklung von Modellen
- Vorbereitung für den Einsatz
- Bereitstellung im Einsatz
- Monitoring und Feedback-Schleifen
Durch die Wiederverwendung der DevOps-Prinzipien versucht man, diese Teilschritte strukturiert und weitestgehend automatisiert zu gestalten, um so KI-Systeme zu entwickeln, welche kontinuierlich verbessert werden und stabile und zuverlässige Ergebnisse liefern.
Umsetzung von MLOps
Um MLOps integrieren zu können, wird zuallererst entsprechende Infrastruktur benötigt. Im Rahmen des Use Cases AI-TEST-FIELD bzw. des DFKIs wurde hierbei auf Open-Source-Software gesetzt. Die Basis der Infrastruktur stellt ein Kubernetes-Cluster dar, auf welchem die relevanten Applikationen zentral bereitgestellt werden [5]. Für die Datenhaltung werden dabei ein File-Server sowie ein MinIO-Storage verwendet [6]. Die Verwendung von Buckets für große Datenmengen ist im Allgemeinen ein gängiges Format. Darüber hinaus bietet MinIO die Möglichkeit, Daten versioniert zu speichern. Ebenso können Daten im MinIO über Data Version Control (DVC) und somit in Verbindung mit einem Git-Repository gespeichert werden, was das Teilen großer Datensätze wesentlich vereinfacht [7]. Als Basis für die Entwicklung von automatisierten Pipelines wird Apache Airflow verwendet, welches ein Workflow-Management-System ist und flexibel für unterschiedliche Aufgaben verwendet werden kann [8].
Eine Darstellung der aktuellen Architektur in Verbindung mit den genannten Hauptbestandteilen und weiteren verwendeten Applikationen findet man in Abb. 2.
In den nachfolgenden Abschnitten wird die Umsetzung von MLOps entlang der Hauptbestandteile näher beschrieben, um so ein genaueres Bild über die aktuelle Integration zu geben.
Sammeln von Daten
Auf dem AI-TEST-FIELD werden regelmäßig große Mengen an Daten aufgezeichnet. Die Spanne der Datenformate ist dabei sehr heterogen und umfasst u. a. Geodaten, Bilddaten, Punktwolken sowie Metadaten (z. B. Wetterdaten). Das Ziel ist, hier ganzjährig vergleichbare Aufnahmen bei unterschiedlichen Umgebungsbedingungen zu generieren, um ein möglichst breites Spektrum der realen Umgebung durch die Datensätze repräsentieren zu können. Wie eingangs erwähnt, ist die Agrardomäne abhängig von den Wetterbedingungen. Für die Bilderkennung ist etwa die gleiche Darstellung mit unterschiedlichen Lichtverhältnissen jeweils ein anderes Bild. Es ist jedoch essenziell, dass Pflanzen zu allen Bedingungen exakt erkannt werden.
Die Daten werden auf dem Testfeld in sogenannten rosbags aufgezeichnet. Dieses Format ist essentieller Bestandteil des ROS-Frameworks, welches für die Entwicklung von Robotern weit verbreitet ist [9]. In den rosbags werden alle Informationen mitgeschrieben, welche während des Betriebs eines Roboters anfallen (z. B. Sensor-Rohdaten, Wetterdaten und gefahrene Trajektorien). Zur Weiterverarbeitung werden diese Daten via MinIO-Client oder Apache Kafka in den Cloud-Storage übertragen.
Entwicklung von Modellen
Die Entwicklung von Modellen umfasst grob die Schritte Datenexploration und -auswahl, Datenvorbereitung, Modell-Training sowie Modellevaluation und -vergleich. Etwas ausführlicher beschrieben werden im ersten Schritt die Daten manuell oder automatisch exploriert und passende ausgewählt. Zur manuellen Sichtung und Analyse der rosbags wird das Tool Bag-Database verwendet [10]. Dies ist eine auf Java basierende Applikation, welche es ermöglicht, den Inhalt der rosbags ohne zusätzlichen Aufwand einzusehen. Somit lassen sich beispielsweise aufgenommene Strecken des Roboters auf einer Karte sichtbar machen oder in den rosbags enthaltene Bilder inspizieren.
Im Rahmen des AI-TEST-FIELD geht es vorwiegend um die gezielte Evaluation von Modellen im praktischen Einsatz, welche auf öffentlich zugänglichen Datensätzen trainiert wurden. Die KI-Modelle stammen dabei aus dem aktuellen Stand der Technik, wie etwa das Yolo-Modell in einer passenden Version, Faster-RCNN oder RetinaNet [11;12;13]. Um die Modelle für die Erkennung von Objekten im Testfeld vorzubereiten, werden diese über eine automatisierte Pipeline auf dem Coco-Datensatz trainiert [14]. Nach dem Training erfolgt die standardmäßige Evaluation des Modells. Für das Training werden jeweils die Hyperparameter variiert, um nach Möglichkeit die Ergebnisse des Modells zu verbessern. Zum Schluss wird das Modell mit einer vorherigen Version verglichen und bei einer Verbesserung der Ergebnisse wird die neuere Version für die weiteren Schritte ausgewählt.
Auch in anderen Forschungsvorhaben am DFKI werden bereits wiederkehrende Aufgaben über die MLOps-Architektur bzw. Airflow-Pipelines realisiert. So beschäftigt sich ein Anwendungsfall damit, Bilder aus rosbags, welche über Teststände aufgezeichnet werden, automatisch zu extrahieren und in MinIO Buckets zu organisieren. Weiter werden über diese Pipeline neue Tasks in dem Labeling-Tool CVAT (Computer Vision Annotation Tool) erstellt [15]. DFKI-intern entschied man sich für CVAT, da dieses die gängigsten Labelformate unterstützt und sogar ein automatisches Annotieren über vortrainierte Netzwerke anbietet. Somit ist für die Extraktion und die Generierung neuer CVAT-Tasks kein manueller Aufwand mehr nötig und die Pipeline kann angestoßen werden, sobald neue Daten vorhanden sind. Daten, welche mit Annotationen versehen sind, werden in anderen Experimenten weiterverwendet. Weitere Themen, welche langfristig über die MLOps-Pipeline im Rahmen der Modell-Entwicklung realisiert werden sollen, sind beispielsweise AutoML, Active Learning Loops und die Generierung von synthetischen Pipelines.
Vorbereitung für den Einsatz
Wie in Abb. 2 zu sehen ist, umfasst die Vorbereitung für den Einsatz die Modellauswahl, das Deployment innerhalb der Cloud und die Durchführung von Akzeptanztests. Für die Implementierung von Akzeptanztests wurde am DFKI eine Pipeline ausgearbeitet, um Modelle mit realen Daten überprüfen zu können [16]. Die Datenbasis für die Tests liefert die semantische Umgebungsrepräsentation (SEEREP), welche ebenfalls am DFKI entwickelt wird [17].
Über dieses Tool können Datensätze mit Hilfe semantischer, zeitlicher und räumlicher Anfragen generiert werden. Beispielsweise lassen sich Datensätze aus Bilddaten bei moderatem Regen zwischen Februar und März 2023, auf denen Menschen zu sehen sind, erzeugen. Das zuvor ausgewählte Modell wird über einen Triton-Inference-Server innerhalb der Cloud bereitgestellt. Über einen Triton-Client werden dann zunächst passende Daten aus SEEREP angefordert und anschließend für eine Vorhersage an den Triton-Inference-Server weitergeleitet [18]. Die Vorhersage des Modells wird als Antwort an den Client zurückgeschickt, in dem nun ein Abgleich mit der Groundtruth durchgeführt wird. Das Testen mit realen Daten im Rahmen von Akzeptanztests ist besonders wichtig, da Fehler im Modell im praktischen Einsatz schwerwiegende Folgen haben können.
Bereitstellung im Einsatz
Im nächsten Schritt müssen die Modelle für den praktischen Einsatz auf den Edge Devices vorbereitet werden. Hierbei gilt es zu beachten, dass die Rechenkapazität auf den Endgeräten sehr eingeschränkt ist. Die Modelle müssen folglich auf die Gegebenheiten so angepasst werden, dass sie erstens auf den Endgeräten installiert werden können und zweitens keine Einbußen in der Performance erleiden. Hierfür bietet sich u. a. das ONNX-Exportformat an, da dieses das Modell reduziert und unabhängig von der Plattform ausführbar macht [19].
Monitoring und Feedback-Schleifen
Der letzte Punkt der Hauptbestandteile von MLOps beinhaltet das Monitoring und die Feedbackschleifen. Wichtig bei der Überführung von Modellen in den praktischen Einsatz ist deren kontinuierliche Überwachung und Weiterentwicklung. Dieser Punkt befindet sich am DFKI noch in der Konzept- und Aufbauphase. Zum aktuellen Zeitpunkt sind auf dem AI-Test-Field eine Remote-Überwachung der Datenaufzeichnung und Sensorstreams möglich. Allerdings sind noch keine Dashboards für die Überwachung der KI-Modelle umgesetzt. Dies wird jedoch in den nächsten Monaten folgen, um relevante KPIs der Modelle wie die Genauigkeiten während des Betriebs überprüfen zu können. Des Weiteren befindet sich ein Online-Test von KI-Modellen während des Betriebs in der Umsetzungsphase und kann ebenfalls im Laufe des kommenden Jahres für das Monitoring eingesetzt werden.
Vorteile der MLOps-Integration
Die genannten Hauptbestandteile von MLOps sind nicht linear angeordnet, sondern eher in einem Kreislauf zu sehen, wie in Abb. 3 dargestellt ist. Die Prozesse, welche über MLOps entstehen, werden nicht nur einmalig, sondern wiederholt ausgeführt. Auf diese Weise entsteht ein kontinuierlicher Lernprozess für KI-Systeme, wodurch diese stetig verbessert werden. Durch die angewendeten Technologien kann dieser Kreislauf weitestgehend automatisiert werden. Hierdurch verringert sich die manuelle Arbeit und damit verbunden eine große Fehlerquelle.
Darüber hinaus vereinfachen sich Prozesse innerhalb der Entwicklung durch die Verwendung von zentralisierten Applikationen. Durch die gemeinsame Datenhaltung innerhalb des DFKI in Osnabrück ist es deutlich transparenter geworden, wo aufgenommene Datensätze zu finden sind. Folglich können diese im Rahmen der Forschung weitreichender verwendet werden. Durch die Einführung von Apache Airflow als Pipeline-Tool können Teilschritte über Docker-Container einfacher auch projektübergreifend geteilt werden. Außerdem hat sich auch das Vorgehen der Entwicklung vereinheitlicht, was insbesondere neuen Mitarbeitenden die Einarbeitung vereinfacht.
Ebenso hatte die Integration von MLOps einen positiven Einfluss auf die Kommunikation über die Team- und Projektgrenzen hinaus. Die Mitarbeitenden tauschen sich vermehrt über die Entwicklung im Zusammenhang mit dem Cluster aus, wodurch ein reger Wissenstransfer entsteht. In vielen Projekten stößt man auf sehr ähnlich Probleme, wie etwa die Bereitstellung von KI-Modellen auf Endgeräten. Diese Problemstellungen können nun vereinheitlicht gelöst und in diversen Projekten eingesetzt werden. Ein weiterer Faktor, welcher reduziert werden konnte, ist der Verlust von Wissen, sollten Mitarbeitende das Unternehmen verlassen. Durch die erhöhte Nutzung von Source Code Repositories und Docker-Container bleibt das Wissen besser erhalten.
Schlussfolgerung und weiteres Vorgehen
Die Integration von MLOps am DFKI hat bereits jetzt viele Prozesse vereinfacht und automatisiert. Die Architektur selbst wird in einer stetigen Weiterentwicklung sein. Viele Mitarbeitende arbeiten bereits sehr aktiv auf dem Cluster und tragen dazu bei, die aktuelle Umgebung weiter auszubauen.
Die Förderung des Vorhabens erfolgt aus Mitteln des Bundesministeriums für Ernährung und Landwirtschaft (BMEL) aufgrund eines Beschlusses des Deutschen Bundestages. Die Projektträgerschaft erfolgt über die Bundesanstalt für Landwirtschaft und Ernährung (BLE) im Rahmen der Förderung der Künstlichen Intelligenz in der Landwirtschaft mit dem Förderkennzeichen 28-D-K1.01A-20. Das DFKI Niedersachsen (DFKI NI) wird gefördert im Niedersächsischen Vorab durch das Niedersächsische Ministerium für Wissenschaft und Kultur und die Volkswagen-Stiftung.
- O. Willers, S. Sudholt, S. Raafatnia & S. Abrecht: Safety Concerns and Mitigation Approaches Regarding the Use of Deep Learning in Safety-Critical Perception Tasks, in Computer Safety, Reliability, and Security. SAFECOMP 2020 Workshops, A. Casimiro, F. Ortmeier, E. Schoitsch, F. Bitsch, and P. Ferreira, Eds. Cham: Springer International Publishing, 2020, pp. 336–350.
- S. Wazir, G. S. Kashyap & P. Saxena: MLOps: A Review, arXiv preprint arXiv:2308.10908, 2023.
- D. Kreuzberger, N. Kühl & S. Hirschl: Machine Learning Operations (MLOps): Overview, Definition, and Architecture, IEEE Access, 2023.
- M. Treveil, N. Omont, C. Stenac, K. Lefevre, D. Phan, J. Zentici, A. Lavoillotte, M. Miyazaki, and L. Heidmann, Introducing MLOps. O’Reilly Media, 2020.
- The Linux Foundation: Kubernetes
- MinIO, Inc.: min.io
- dvc.ai: DVC
- The Apache Software Foundation: Apache Airflow
- M. Quigley, K. Conley, B. Gerkey, J. Faust, T. Foote, J. Leibs, R. Wheeler, A. Y. Ng et al.: ROS: an open-source Robot Operating System, in ICRA workshop on open source software, vol. 3, no. 3.2. Kobe, Japan, 2009, p. 5.
- Southwest Research Institute: Bag Database
- J. Terven and D. Cordova-Esparza: A comprehensive review of YOLO: From YOLOv1 to YOLOv8 and beyond, arXiv preprint arXiv:2304.00501, 2023.
- S. Ren, K. He, R. Girshick & J. Sun: Faster R-CNN: Towards real-time object detection with region proposal networks, Advances in neural information processing systems, vol. 28, 2015.
- T.-Y. Lin, P. Goyal, R. Girshick, K. He & P. Dollar: Focal loss for dense object detection, in Proceedings of the IEEE international conference on computer vision, 2017, pp. 2980–2988.
- T.-Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollar & C. L. Zitnick: Microsoft COCO: Common Objects in Context, in Computer Vision – ECCV 2014, D. Fleet, T. Pajdla, B. Schiele, and T. Tuytelaars, Eds. Cham: Springer International Publishing, 2014, pp. 740–755.
- CVAT.ai Corporation: Computer Vision Annotation Tool
- N. Iqbal, M. Niemeyer, J. C. Krause & J. Hertzberg: Scalable Evaluation Pipeline of CNN-Based Perception for Robotic Sensor Data Under Different Environment Conditions, in 2023 European Conference on Mobile Robots (ECMR). IEEE, 2023, pp. 1–6.
- M. Niemeyer, S. Pütz & J. Hertzberg: A Spatio-Temporal-Semantic Environment Representation for Autonomous Mobile Robots equipped with various Sensor Systems, in 2022 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems, 9 2022.
- NVIDIA Corporation: Triton Inference Server: An Optimized Cloud and Edge Inferencing Solution
- ONNX: Open Neural Network Exchange
