KI-Lösungen mit Hilfe von Open Source Software entwickeln
Betreiben und skalieren Sie Machine-Learning-Modelle auf einem lokalen Kubernetes-Cluster z.B. mit KubeAI. Die Software bietet eine Open-Source-Plattform, die das Hosten, Verwalten und Interagieren mit großen Sprachmodellen (LLMs) und Vision Language Models (VLMs) in on-premises Umgebungen ermöglicht.
Kubeflow ist eine offene Plattform zur Orchestrierung von Machine-Learning-Workflows auf Kubernetes. Sie bietet modulare Komponenten für jede Phase des ML-Lebenszyklus – von der Datenvorbereitung über das Modelltraining bis hin zum Deployment. Die Plattform ist portabel, skalierbar und unterstützt moderne MLOps-Praktiken.
Hauptkomponenten von Kubeflow
Kubeflow besteht aus mehreren Komponenten vom den gesamten Lifecycle abzubilden.
Kubeflow Notebooks - JupyterLab, RStudio und VS Code
Ermöglicht die Ausführung webbasierter Entwicklungsumgebungen wie JupyterLab, RStudio und VS Code direkt im Kubernetes-Cluster. Ideal für interaktive Datenanalyse, Feature Engineering und Modellentwicklung. Admins können standardisierte Notebook-Images mit vorinstallierten Paketen bereitstellen, und die Zugriffskontrolle erfolgt über Nutzer/Passwort oder z.B. über eine LDAP Integration.
Kubeflow Pipelines (KFP)
Eine Plattform zum Erstellen, Ausführen und Verwalten von ML-Workflows basierend auf Docker-Containern. Mit dem KFP SDK können Pipelines in Python definiert und als YAML-Dateien beschrieben werden. Die Benutzeroberfläche ermöglicht das Verfolgen von Experimenten, das Visualisieren von Ausführungen und das Verwalten von ML-Artefakten.
Katib (AutoML)
Ein Tool zur automatisierten Optimierung von ML-Modellen insbesondere Hyperparameter-Tuning mithilfe verschiedener Algorithmen wie Grid Search, Random Search und Bayesian Optimization.
Kubeflow Trainer
Ein Kubernetes-natives Projekt für das skalierbare und verteilte Training von ML-Modellen, einschließlich der Feinabstimmung großer Sprachmodelle (LLMs). Unterstützt Frameworks wie PyTorch, TensorFlow, JAX und XGBoost. Integriert sich nahtlos mit Kubernetes-Ressourcen für optimiertes GPU-Management.
KServe
Bietet eine leistungsstarke Lösung für das Servieren von ML-Modellen in Produktionsumgebungen. Unterstützt verschiedene Frameworks wie TensorFlow, PyTorch, scikit-learn und ONNX. Ermöglicht sowohl Online- als auch Batch-Inferenz mit niedriger Latenz.
Tutorials
Mit Kubeflow starten
Damit Sie direkt loslegen können, haben wir eine ausführliche Installationsanleitung zusammengestellt, die Sie Schritt für Schritt durch den gesamten Prozess führt. Hier finden Sie alle wichtigen Informationen zur Einrichtung und hilfreicher Tipps für eine reibungslose Installation.
Ob Sie einfach neugierig sind oder direkt loslegen willst – dieser Abschnitt hilft Ihnen dabei, alles korrekt aufzusetzen und das Beste aus deinem Setup herauszuholen.
Voraussetzungen für die Nutzung von Kubeflow:
- Single oder Multi-Node Kubernetes-Cluster (s.u.)
- idealerweise Nvidia oder AMD GPU/Rechenbeschleuniger
Hinweis: Kubernetes-Cluster bestehen grundsätzlich aus mehreren Rechnern (Nodes), die zusammenarbeiten, um Container-Anwendungen automatisiert bereitzustellen, zu verwalten und zu skalieren.
Noch Fragen?
Wer bietet Kubeflow an?
Kubeflow ist eine Community getriebene Open Source Software die von Google initiiert wurde. Kubeflow integriert weitere Open Source Produkte wie JupyterLabs.
Wer bietet JupyterNotebooks an?
Zum Entwickeln von DataScience und KI-Anwendungen integriert Kubeflow JupyterNotebooks, welches eine browserbasierte Entwicklungsumgebung anbietet. Auch dies ist ein unabhängiges Open Source Projekt.
Welche Alternativen gibt es zu Kubeflow?
Je nach Aufgaben gibt es verschiedene Alternativen: Zum Workflow-Pipelining: Apache Airflow, Prefect, Dagster als OpenSource Produkte oder kommerzielle Angebote wie Amazon SageMaker, Azure Machine Learning oder Google Vertex AI Pipelines. Umfassende Plattformen wie Kubeflow sind z.B. Databricks MLflow, Domino DataLab oder DataRobot.