LLMs & Inference

Draai open LLMs lokaal met één commando.

C++ inference engine voor Meta's LLaMA en vrienden.

Lokale LLMs voor iedereen, geen GPU vereist.

Mooie chat interface voor Ollama en andere backends.

Krachtige Gradio Web UI voor LLMs.

High-throughput LLM serving engine.

Desktop GUI voor het draaien van lokale LLMs.

Drop-in OpenAI replacement op eigen hardware.

Eén-file LLM distributie van Mozilla.

Eén-binary GGUF runner met ingebouwde UI.

Snelle LLM serving met gestructureerde generatie.

Open source ChatGPT alternatief op je desktop.

Productie LLM serving van Hugging Face.

Eén-platform voor LLMs, embeddings, image en audio.