Supra-50M-Reasoning: Open-Source-Tiny-Modell mit Ketten-Denken

SupraLabs hat Supra-50M-Reasoning (ThinkSupra-50M) veröffentlicht, ein winziges 50M-Parameter-Modell, das vor der Antwort eine vollständige Gedankenkette (Chain-of-Thought, CoT) erzeugt. Es handelt sich um die Reasoning-Variante von Supra-50M-Instruct, die aus Supra-50M-Base mit einem synthetischen Datensatz von 500 Beispielen, generiert durch Qwen3 1.7B, über 6 Epochen mit SFT in bfloat16 feinabgestimmt wurde. Experimentell, anfällig für Halluzinationen und vollständig offen.

Inferenzformat

Jede Antwort folgt dieser Struktur:

<|begin_of_thought|> ... Denkprozess ... <|end_of_thought|> <|begin_of_solution|> ... endgültige Antwort ... <|end_of_solution|>

Schnellstart

import torch
from transformers import pipeline, AutoTokenizer

MODEL_ID = "SupraLabs/Supra-50M-Reasoning"
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, clean_up_tokenization_spaces=False)
pipe = pipeline("text-generation", model=MODEL_ID, tokenizer=tokenizer, device_map="auto", torch_dtype=torch.bfloat16 if torch.cuda.is_available() else torch.float32)
def build_prompt(instruction, input_text=""):
    if input_text.strip():
        return f"Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{input_text}\n\n### Response:\n"
    return f"Below is an instruction that describes a task. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Response:\n"
def generate(instruction, input_text=""):
    result = pipe(build_prompt(instruction, input_text), max_new_tokens=512, do_sample=True, temperature=0.3, top_k=50, top_p=0.9, repetition_penalty=1.15, pad_token_id=pipe.tokenizer.pad_token_id, eos_token_id=pipe.tokenizer.eos_token_id, return_full_text=False)
    return result[0]['generated_text'].strip()

Beispielausgabe

Prompt: „Was ist KI?“

Denkprozess: „Okay, der Nutzer fragt nach KI. Lass mich damit beginnen, mich zu erinnern, was KI ist. KI ist ein Teilgebiet des maschinellen Lernens, speziell neuronale Netze...“

Antwort: „KI ist ein Teilgebiet des maschinellen Lernens, das sich darauf konzentriert, Maschinen zu befähigen, aus Daten zu lernen... eingesetzt im Gesundheitswesen, Finanzwesen und sogar in der Robotik.“

Nächste Schritte

SupraLabs plant größere Modelle: Supra-124M (Base, Chat, Reasoning) und Supra-350M (Base, Chat, Reasoning, Coding).

Modell auf Hugging Face: Supra-50M-Reasoning
Datensatz: SupraThink-Dataset-500x