KI-Ingenieur-Notizbücher: Framework-freie Colab-Serie lehrt RAG, Agenten und Bewertungen mit der kostenlosen Groq-API

Das AI Engineer Notebooks-Repo ist gerade erschienen – eine Sammlung von Colab-Notebooks, die dich durch den gesamten angewandten LLM-Stack führen, ohne auf Frameworks wie LangChain oder LlamaIndex angewiesen zu sein. Es ist für Backend-/Full-Stack-Entwickler gedacht, die in AI-Engineer- oder Forward-Deployed-Engineer-Rollen wechseln möchten. Alles läuft auf der kostenlosen Groq-API, daher ist keine Kreditkarte erforderlich.

Was darin enthalten ist

Die Notebooks sind in 12 Abschnitte organisiert, beginnend mit Setup und Modell-APIs, dann weiter zu Evals, RAG, Agents, Anpassung, Sicherheit und Serving. Die wichtigsten Highlights:

• Von Grund auf framework-frei – Du schreibst Agent-Loops, RAG-Pipelines und Bewertungslogik direkt aus Raw-API-Aufrufen. Das Ziel ist, zu verstehen, was Frameworks wie LangChain tatsächlich tun, bevor du sie verwendest.
• Evals als Rückgrat – „Erst messen, dann optimieren“ wird ab Abschnitt 02 betont, und Bewertungstechniken tauchen in jedem späteren Abschnitt wieder auf.
• Reale Fallstudien – Drei End-to-End-Beispiele: ein Support-Assistent, der in Produktion debuggt wurde, ein Pipeline-vs-Agent-Kostenvergleich und ein Red-Team-Robustheits-Benchmark.
• OpenAI-kompatibel – Alle Muster lassen sich direkt auf OpenAI und Anthropic übertragen, indem du die Basis-URL austauschst.

Praktische Notebooks

Jedes Notebook ist in sich geschlossen, installiert seine eigenen Abhängigkeiten und liest API-Schlüssel aus Colab-Secrets. Frühe Notebooks behandeln praktische Fähigkeiten:

• Modell-APIs – Grundlagen des Promptings, strukturierte Ausgaben, Tool-Aufrufe, Streaming und Kontextbudgetierung.
• Evals-Grundlagen – Goldene Sets und Metriken, um die Ausgabequalität zu messen.
• RAG – Eine 15-Zeilen-Demo, die Retrieve → Augment → Generate zeigt, plus Embedding-Auswahl, Hybridsuche und Reranker.

Das Repo (480 Sterne, 29 Forks) enthält 86 Commits und einen begleitenden Plan für den Übergang in FDE/AI-Engineer-Rollen. Es ist eine praktische, unaufgeregte Ressource, um produktionsreife KI-Fähigkeiten aufzubauen.