vLLM is een snelle, GPU-gebaseerde inference server met PagedAttention voor near-linear scaling op meerdere GPUs. Ideaal voor productie-scenario's waar throughput en latency tellen.
pythonapiproduction-readyself-hostable
Features
- PagedAttention voor efficient KV-cache beheer
- Continuous batching en speculative decoding
- OpenAI-compatible API server
- Tensor, pipeline en expert parallelism
Use cases
- Self-hosted OpenAI replacement
- Hoge QPS API voor LLM features
- Multi-GPU clusters
Veelgestelde vragen over vLLM
- Wat is vLLM?
- vLLM is een snelle, GPU-gebaseerde inference server met PagedAttention voor near-linear scaling op meerdere GPUs. Ideaal voor productie-scenario's waar throughput en latency tellen.
- Voor wie is vLLM geschikt?
- vLLM is vooral geschikt voor Self-hosted OpenAI replacement, Hoge QPS API voor LLM features, Multi-GPU clusters. Primair geschreven in Python en beschikbaar onder de Apache 2.0-licentie.
- Is vLLM gratis te gebruiken?
- Ja, vLLM is open source onder de Apache 2.0-licentie en gratis te gebruiken. Bekijk de officiële repository voor de meest actuele licentie-voorwaarden.
- In welke categorie valt vLLM?
- vLLM valt in de categorie LLMs & Inference. Andere tools in deze categorie vind je op /categories/llms-inference.
- Wat zijn de belangrijkste features van vLLM?
- PagedAttention voor efficient KV-cache beheer • Continuous batching en speculative decoding • OpenAI-compatible API server • Tensor, pipeline en expert parallelism