text-generation-inference
Productie LLM serving van Hugging Face.
TGI is Hugging Face's high-performance serving stack voor LLMs. Met Rust core, tensor parallelism, continuous batching en OpenAI-compatible endpoints. Ontworpen voor schaal en productie.
pythonrustapiproduction-readyself-hostable
Features
- Tensor parallelism voor multi-GPU
- Flash Attention en Paged Attention
- OpenAI-compatible HTTP API
- Streaming en token-level metrics
Use cases
- Self-hosting Hugging Face modellen op schaal
- Drop-in OpenAI replacement
Veelgestelde vragen over text-generation-inference
- Wat is text-generation-inference?
- TGI is Hugging Face's high-performance serving stack voor LLMs. Met Rust core, tensor parallelism, continuous batching en OpenAI-compatible endpoints. Ontworpen voor schaal en productie.
- Voor wie is text-generation-inference geschikt?
- text-generation-inference is vooral geschikt voor Self-hosting Hugging Face modellen op schaal, Drop-in OpenAI replacement. Primair geschreven in Python + Rust en beschikbaar onder de Apache 2.0-licentie.
- Is text-generation-inference gratis te gebruiken?
- Ja, text-generation-inference is open source onder de Apache 2.0-licentie en gratis te gebruiken. Bekijk de officiële repository voor de meest actuele licentie-voorwaarden.
- In welke categorie valt text-generation-inference?
- text-generation-inference valt in de categorie LLMs & Inference. Andere tools in deze categorie vind je op /categories/llms-inference.
- Wat zijn de belangrijkste features van text-generation-inference?
- Tensor parallelism voor multi-GPU • Flash Attention en Paged Attention • OpenAI-compatible HTTP API • Streaming en token-level metrics