Krasis LLM Runtime présente des améliorations de vitesse de 8,9x en préremplissage et de 4,7x en décodage par rapport à Llama.cpp.
Benchmarks de performance
Krasis démontre des améliorations significatives de performance par rapport à llama.cpp lors de l'exécution sur du matériel équivalent. Sur un seul GPU 5090 limité par PCIE 4.0, Krasis montre :
- Une vitesse de préremplissage 8,9 fois plus rapide
- Une vitesse de décodage 4,7 fois plus rapide
Les résultats de benchmark spécifiques pour Qwen3-Coder-Next montrent Krasis fonctionnant sur un seul GPU 5080 16GB atteignant :
- 1801 tokens/sec en préremplissage
- 26,8 tokens/sec en décodage
Cela surpasse llama.cpp fonctionnant sur un GPU 5090 32GB avec déchargement de couches.
Changements d'architecture
La dernière version de Krasis a abandonné le système à double format et exécute désormais entièrement le préremplissage et le décodage sur GPU avec différentes stratégies d'optimisation pour chaque phase. Ce changement architectural entraîne :
- Des exigences CPU réduites
- Moins de dépendance à la vitesse de la mémoire RAM système
- Une utilisation globale de la RAM système plus faible (nécessite maintenant seulement assez pour le modèle quantifié plus une certaine marge, comparé à l'exigence précédente de 2,5x le modèle)
Modèles pris en charge et performance
Les modèles actuellement pris en charge avec leurs performances sur un seul GPU 5090 (PCIE 4.0) sont :
- Qwen3.5-35B-A3B : 4475 préremplissage, 109,1 décodage
- Qwen3-Coder-Next : 3560 préremplissage, 70,3 décodage
- Qwen3.5-122B-A10B : 2897 préremplissage, 27,7 décodage
- Qwen3-235B-A22B : 2124 préremplissage, 9,3 décodage
Plans de développement futurs
Le développeur prévoit de :
- Ajouter la prise en charge des modèles Nvidia Nemotron, ciblant spécifiquement Nemotron Super pour les GPU grand public comme le 5080
- Potentiellement prendre en charge des modèles Nemotron plus grands lorsqu'ils seront publiés
- Élargir la prise en charge des IDE et des outils pour Opencode et Aider
Fonctionnalités actuelles
Krasis propose actuellement :
- Un serveur compatible OpenAI
- Une installation en une seule ligne
- Disponibilité sur GitHub
📖 Read the full source: r/LocalLLaMA
👀 See Also
Tokenmeter : Application Windows gratuite pour suivre l'utilisation des tokens de Claude Code hors ligne
Tokenmeter est une application Windows gratuite et open-source qui lit les fichiers .jsonl locaux de Claude Code pour afficher l'utilisation des tokens, les coûts estimés, les économies de cache et une carte thermique d'activité sur 90 jours — le tout hors ligne.
IUM : L'Indexeur de Symboles MCP Réduit l'Utilisation de Jetons des Agents IA de 15,9x par rapport à grep
IUM indexe les bases de code dans une matrice SQLite d'événements de symboles, exposant les coordonnées exactes fichier:ligne, le traçage de graphe d'appels et la recherche sémantique via MCP. Testé avec DataFusion (1 538 fichiers), montrant 15,9 fois moins de tokens que grep pour des requêtes équivalentes.
Moniteur gratuit dans la barre de menus macOS pour les limites d'utilisation de Claude AI
Un outil gratuit et open-source pour macOS qui affiche le pourcentage d'utilisation de session de Claude AI, les limites hebdomadaires et les décomptes de réinitialisation directement dans votre barre de menus. S'installe avec une seule commande Homebrew et s'appuie sur les sessions Chrome existantes sans stocker de données.
Plugin Found-Issues : enregistre les bugs que Claude ignore lorsqu'il travaille sur d'autres tâches
Un plugin Claude Code qui ajoute des entrées d'une ligne dans docs/found-issues.md lorsque l'agent détecte des bugs hors périmètre, avec fermeture automatique lors du merge d'une PR et détection des tombstones.