Exploration de Step 3.5 Flash : Modèle Open-Source pour un Raisonnement Profond Rapide

Step 3.5 Flash est un modèle de base open-source axé sur la fourniture de capacités de raisonnement profond rapides et fiables. Il utilise une architecture éparse de Mélange d'Experts (MoE), activant seulement 11 milliards de ses 196 milliards de paramètres par token. Cette activation sélective lui confère une haute "densité d'intelligence", lui permettant de rivaliser avec les meilleurs modèles propriétaires tout en restant agile pour les interactions en temps réel.

Raisonnement profond et vitesse

Le modèle intègre une Prédiction Multi-Token à 3 voies (MTP-3), lui permettant de traiter 100 à 300 tokens par seconde, avec un pic à 350 pour les tâches de codage en flux unique—idéal pour un raisonnement complexe et multi-étapes avec une réactivité rapide.

Performance en codage et tâches d'agent

Step 3.5 Flash excelle dans les tâches agentiques, soutenu par un cadre d'apprentissage par renforcement évolutif qui assure une amélioration continue. Il a obtenu un score de 74,4 % sur le benchmark SWE-bench Verified et 51,0 % sur Terminal-Bench 2.0, reflétant sa capacité à gérer des tâches sophistiquées et à long terme.

Traitement efficace de contexte long

Il prend en charge une grande fenêtre de contexte de 256K en utilisant un ratio d'Attention à Fenêtre Glissante (SWA) de 3:1, intégrant trois couches SWA pour chaque couche d'attention complète. Cette méthode réduit considérablement la charge de calcul par rapport aux modèles de contexte long traditionnels.

Déploiement local et accessibilité

Conçu pour un déploiement local facile, Step 3.5 Flash peut fonctionner en toute sécurité sur du matériel grand public haut de gamme, tel que le Mac Studio M4 Max et le NVIDIA DGX Spark, garantissant la confidentialité des données sans compromettre les performances.