Een self-hosted AI stack opzetten in 2026 — de complete gids

Steeds meer teams willen hun AI-infrastructuur volledig in eigen huis draaien — om kosten, privacy, controle of gewoon snelheid. Maar waar begin je? In deze gids bouwen we een complete self-hosted AI stack, laag voor laag, met uitsluitend open-source componenten.

Wat heb je nodig?

Een self-hosted AI stack bestaat typisch uit:

1. Inference layer — waar de modellen draaien
2. RAG/Application layer — koppelt modellen aan je data
3. Vector database — voor semantische zoek
4. Observability — logs, metrics, traces
5. Frontend / API — waarmee eindgebruikers werken

Laten we elke laag inrichten.

Laag 1: Inference

Je hebt ruwweg drie opties:

Lokaal (development)

• [Ollama](/tools/ollama) — makkelijkste setup
• [LM Studio](/tools/lm-studio) — GUI voor niet-developers
• [llama.cpp](/tools/llama-cpp) — voor edge/embedded

Self-hosted server (production)

• [vLLM](/tools/vllm) — high-throughput GPU serving
• [TGI](/tools/tgi) — Hugging Face's serving stack
• [Xinference](/tools/xinference) — multi-model platform

Gedistribueerd (enterprise)

• [SGLang](/tools/sglang) — gestructureerde output
• Ray Serve of Triton Inference Server

Voor de meeste teams is Ollama of vLLM het startpunt.

Laag 2: RAG / Application

Hier maak je modellen relevant voor jouw data. Opties:

• [LangChain](/tools/langchain) — de standaard, met de meeste integraties
• [LlamaIndex](/tools/llamaindex) — sterke data connectors
• [Haystack](/tools/haystack) — pipeline-first design
• [DSPy](/tools/dspy) — programmeerbare pipelines met optimalisatie
• [AnythingLLM](/tools/anythingllm) — alles-in-één desktop app

Voor visuele builders: [Flowise](/tools/flowise) of [Langflow](/tools/langflow).

Laag 3: Vector database

Sla je embeddings op voor retrieval:

• [Qdrant](/tools/qdrant) — Rust-based, snel en feature-rijk
• [Chroma](/tools/chroma) — super developer-friendly
• [Milvus](/tools/milvus) — voor schaal (miljarden vectoren)
• [Weaviate](/tools/weaviate) — GraphQL + modules
• [pgvector](/tools/pgvector) — als je al Postgres gebruikt

Voor de meeste projecten: Qdrant of Chroma.

Laag 4: Frontend

Hoe gaan eindgebruikers met je stack werken?

• [Open WebUI](/tools/open-webui) — self-hosted ChatGPT-achtige interface
• [AnythingLLM](/tools/anythingllm) — multi-workspace
• [Perplexica](/tools/perplexica) — als je een zoekinterface wilt
• Custom Next.js / React app met Vercel AI SDK of LangChain.js

Laag 5: Observability

Wat je niet ziet, kun je niet debuggen. Tools:

• [LangSmith](https://docs.smith.langchain.com) (SaaS) of [LangFuse](https://langfuse.com) (self-hostable)
• Prometheus + Grafana voor metrics
• OpenTelemetry voor traces
• Loki voor logs

Laag 6: Fine-tuning (optioneel)

Voor domein-specifieke aanpassingen:

• [LLaMA-Factory](/tools/llama-factory) — unified framework
• [Unsloth](/tools/unsloth) — 2-5x sneller
• [PEFT](/tools/peft) — LoRA, QLoRA, IA³
• [DeepSpeed](/tools/deepspeed) — voor zeer grote modellen

Een voorbeeld-stack

Voor een middelgroot team dat een RAG-applicatie bouwt:

[Next.js frontend] → [Open WebUI of custom chat]
        ↓
[LangChain / LlamaIndex] ←→ [Qdrant]
        ↓
[vLLM met Llama 3.1 70B]
        ↓
[GPU server: 1-2x A100 of 4x L40S]

Hardware-aanbevelingen

Beveiliging

Vergeet niet:

• Authenticatie op alle endpoints (bijv. met Authentik of Keycloak)
• TLS overal, ook intern
• Rate limiting (Traefik, NGINX)
• Audit logs voor compliance
• Network segmentation — inference op apart VLAN

Volgende stappen

Bekijk de complete directory om de tools te vergelijken die bij jouw stack passen, of spring direct naar een categorie om gerichter te zoeken.