Xinference is een krachtig en uniform platform om allerlei open modellen te draaien: chat LLMs, embedding modellen, image generation, audio en rerankers. Eén binary, één API.
pythonapiself-hostableproduction-ready
Features
- LLM, embedding, rerank, image, audio modellen
- GGML, GGUF, GPTQ, AWQ, MLX
- Distributed inference cluster
- Web UI voor beheer
Use cases
- Multi-model productie deployments
- On-prem AI platform voor teams
Veelgestelde vragen over Xinference
- Wat is Xinference?
- Xinference is een krachtig en uniform platform om allerlei open modellen te draaien: chat LLMs, embedding modellen, image generation, audio en rerankers. Eén binary, één API.
- Voor wie is Xinference geschikt?
- Xinference is vooral geschikt voor Multi-model productie deployments, On-prem AI platform voor teams. Primair geschreven in Python en beschikbaar onder de Apache 2.0-licentie.
- Is Xinference gratis te gebruiken?
- Ja, Xinference is open source onder de Apache 2.0-licentie en gratis te gebruiken. Bekijk de officiële repository voor de meest actuele licentie-voorwaarden.
- In welke categorie valt Xinference?
- Xinference valt in de categorie LLMs & Inference. Andere tools in deze categorie vind je op /categories/llms-inference.
- Wat zijn de belangrijkste features van Xinference?
- LLM, embedding, rerank, image, audio modellen • GGML, GGUF, GPTQ, AWQ, MLX • Distributed inference cluster • Web UI voor beheer