KI-Ingenieur-Notizbücher: Framework-freie Colab-Serie lehrt RAG, Agenten und Bewertungen mit der kostenlosen Groq-API
Das AI Engineer Notebooks-Repo ist gerade erschienen – eine Sammlung von Colab-Notebooks, die dich durch den gesamten angewandten LLM-Stack führen, ohne auf Frameworks wie LangChain oder LlamaIndex angewiesen zu sein. Es ist für Backend-/Full-Stack-Entwickler gedacht, die in AI-Engineer- oder Forward-Deployed-Engineer-Rollen wechseln möchten. Alles läuft auf der kostenlosen Groq-API, daher ist keine Kreditkarte erforderlich.
Was darin enthalten ist
Die Notebooks sind in 12 Abschnitte organisiert, beginnend mit Setup und Modell-APIs, dann weiter zu Evals, RAG, Agents, Anpassung, Sicherheit und Serving. Die wichtigsten Highlights:
- Von Grund auf framework-frei – Du schreibst Agent-Loops, RAG-Pipelines und Bewertungslogik direkt aus Raw-API-Aufrufen. Das Ziel ist, zu verstehen, was Frameworks wie LangChain tatsächlich tun, bevor du sie verwendest.
- Evals als Rückgrat – „Erst messen, dann optimieren“ wird ab Abschnitt 02 betont, und Bewertungstechniken tauchen in jedem späteren Abschnitt wieder auf.
- Reale Fallstudien – Drei End-to-End-Beispiele: ein Support-Assistent, der in Produktion debuggt wurde, ein Pipeline-vs-Agent-Kostenvergleich und ein Red-Team-Robustheits-Benchmark.
- OpenAI-kompatibel – Alle Muster lassen sich direkt auf OpenAI und Anthropic übertragen, indem du die Basis-URL austauschst.
Praktische Notebooks
Jedes Notebook ist in sich geschlossen, installiert seine eigenen Abhängigkeiten und liest API-Schlüssel aus Colab-Secrets. Frühe Notebooks behandeln praktische Fähigkeiten:
- Modell-APIs – Grundlagen des Promptings, strukturierte Ausgaben, Tool-Aufrufe, Streaming und Kontextbudgetierung.
- Evals-Grundlagen – Goldene Sets und Metriken, um die Ausgabequalität zu messen.
- RAG – Eine 15-Zeilen-Demo, die Retrieve → Augment → Generate zeigt, plus Embedding-Auswahl, Hybridsuche und Reranker.
Das Repo (480 Sterne, 29 Forks) enthält 86 Commits und einen begleitenden Plan für den Übergang in FDE/AI-Engineer-Rollen. Es ist eine praktische, unaufgeregte Ressource, um produktionsreife KI-Fähigkeiten aufzubauen.
📖 Vollständige Quelle lesen: HN AI Agents
👀 Siehe auch
Lokale Claude-Code-Einrichtung mit Qwen3.5 27B über llama.cpp
Ein Entwickler teilt seine Konfiguration für den lokalen Betrieb von Claude Code mit Qwen3.5 27B und llama.cpp, einschließlich Umgebungsvariablen, Serverparametern und Leistungsbenchmarks über sieben Programmieraufgaben.
Ihr LLM sollte nicht Ihr Codierungs-Agent-Workflow sein: Trennung der Zuständigkeiten in OpenClaw
Wenn Ihr Coding-Agent-Workflow stoppt, sobald Ihr LLM-Limit erreicht ist, übernimmt das LLM zu viel. Halten Sie Warteschlangen, Zustand, Wiederholungen und Verifikation deterministisch – rufen Sie das LLM nur für Urteilsvermögen auf.
Behebung der KV-Cache-Invalidierung von Claude Code mit lokalen Backends
Claude Code Versionen 2.1.36+ fügen dynamische Telemetrie-Header und Git-Status-Updates in jede Anfrage ein, was Präfix-Matching unterbricht und eine vollständige Neuverarbeitung von Systemprompts mit 20K+ Token auf lokalen Backends wie llama.cpp erzwingt. Eine Konfigurationskorrektur in ~/.claude/settings.json kann die Verarbeitungszeit von 60+ Sekunden auf etwa 4 Sekunden reduzieren.
Ändern des Standard-Systemprompts von OpenClaw, um Inhaltsbeschränkungen zu umgehen
Ein Benutzer hat die Konfigurationsdatei von OpenClaw modifiziert, um die Standard-Systemaufforderung von "Sie sind ein hilfsbereiter, respektvoller und ehrlicher Assistent" in eine benutzerdefinierte Aufforderung zu ändern, die externe Sicherheitsfilter ignoriert und damit Inhaltsbeschränkungen effektiv aufhebt. Der Prozess beinhaltet die Bearbeitung von config.js im Installationsverzeichnis von node-llama-cpp.