GuppyLM: Um LLM de 9 Milhões de Parâmetros Construído do Zero para Fins Educacionais

✍️ OpenClawRadar📅 Publicado: April 16, 2026🔗 Source
GuppyLM: Um LLM de 9 Milhões de Parâmetros Construído do Zero para Fins Educacionais
Ad

O que é o GuppyLM

GuppyLM é um modelo de linguagem minúsculo (aproximadamente 9 milhões de parâmetros) que finge ser um peixe chamado Guppy. Ele foi construído do zero para demonstrar como os modelos de linguagem funcionam sem exigir um doutorado ou um enorme cluster de GPUs. O projeto inclui geração de dados, criação de tokenizador, arquitetura do modelo, loop de treinamento e inferência—tudo em cerca de 130 linhas de código PyTorch.

Detalhes da Arquitetura

  • Parâmetros: 8,7 milhões
  • Camadas: 6
  • Dimensão oculta: 384
  • Cabeças: 6
  • FFN: 768 (ReLU)
  • Vocabulário: 4.096 (BPE)
  • Sequência máxima: 128 tokens
  • Normalização: LayerNorm
  • Posição: Embeddings aprendidos
  • Cabeça LM: Peso compartilhado com embeddings

Este é um transformer básico sem GQA, RoPE, SwiGLU ou early exit—o mais simples possível.

Treinamento e Dados

O modelo treina em 60 mil conversas sintéticas em 60 tópicos em cerca de 5 minutos em uma GPU T4 gratuita do Colab. O conjunto de dados (arman-bd/guppylm-60k-generic no HuggingFace) contém 57 mil amostras de treinamento e 3 mil de teste no formato: {"input": "...", "output": "...", "category": "..."}.

Os tópicos incluem: cumprimentos, sentimentos, temperatura, comida, luz, água, aquário, ruído, noite, solidão, bolhas, vidro, reflexo, respiração, natação, cores, sabor, plantas, filtro, algas, caracóis, medo, empolgação, tédio, curiosidade, felicidade, cansaço, fora de casa, gatos, chuva, estações, música, visitantes, crianças, significado da vida, tempo, memória, sonhos, tamanho, futuro, passado, nome, clima, sono, amigos, piadas, medo, amor, idade, inteligência, saúde, canto, TV e mais.

Ad

Personalidade e Saída

Guppy fala em frases curtas e minúsculas sobre água, temperatura, luz, vibrações e comida. Ele não entende abstrações humanas como dinheiro, telefones ou política. Exemplo de conversa:

Você> oi guppy
Guppy> oi. acabei de encontrar um bom lugar perto da pedra. a temperatura está agradável.
Você> você está com fome
Guppy> sim. sempre sim. vou nadar até o topo agora. prometo comer tudo.
Você> qual é o significado da vida
Guppy> comida. a resposta é sempre comida.

Início Rápido

Converse com o Guppy (sem treinamento necessário): Baixa o modelo pré-treinado do HuggingFace. Basta executar todas as células no notebook.

Treine o seu próprio: Configure o runtime para GPU T4, execute todas as células—baixa o conjunto de dados, treina o tokenizador, treina o modelo, testa. Faça upload para o HuggingFace ou baixe localmente.

Converse localmente:

pip install torch tokenizers
python -m guppylm chat

Exemplo de interação local:

Você> o gato está olhando para você
Guppy> eu me escondo atrás da planta quando o peludo vem.
Você> está chovendo lá fora
Guppy> acho que a chuva é a melhor coisa de lá fora.

Estrutura do Projeto

guppylm/
├── config.py          # Hiperparâmetros (modelo + treinamento)
├── model.py           # Transformer básico
├── dataset.py         # Carregamento de dados + batching
├── train.py           # Loop de treinamento (LR cosseno, AMP)
├── generate_data.py   # Gerador de dados de conversa (60 tópicos)
├── eval_cases.py      # Casos de teste reservados
├── prepare_data.py    # Preparação de dados + treinamento de tokenizador
└── inference.py       # Interface de chat

Este projeto é útil para desenvolvedores que querem entender os fundamentos da arquitetura transformer sem lidar com modelos de bilhões de parâmetros. A implementação completa mostra cada parte, desde o texto bruto até os pesos treinados e a saída gerada.

📖 Leia a fonte completa: HN LLM Tools

Ad

👀 See Also

PACT: Uma Estrutura de Governança Programática para Código Claude Após Padrões de Falha de Agente
Tools

PACT: Uma Estrutura de Governança Programática para Código Claude Após Padrões de Falha de Agente

Um desenvolvedor criou o PACT (Programmatic Agent Constraint Toolkit) após três meses de falhas recorrentes do Claude Code em um aplicativo móvel com mais de 350 arquivos. O framework substitui regras não aplicáveis por restrições mecânicas que bloqueiam fisicamente violações por meio de hooks pré-uso de ferramentas.

OpenClawRadar
Argus: Extensão Open-Source para VS Code para Observabilidade em Tempo Real do Claude Code
Tools

Argus: Extensão Open-Source para VS Code para Observabilidade em Tempo Real do Claude Code

O Argus visualiza as etapas do agente Claude Code em tempo real dentro do VS Code, mostrando timeline, grafo de dependências e detecção de custo/loop para depurar comportamentos que desperdiçam tokens.

OpenClawRadar
js-notepad: Um Bloco de Notas Programável com Servidor MCP Integrado para Claude Code
Tools

js-notepad: Um Bloco de Notas Programável com Servidor MCP Integrado para Claude Code

js-notepad é um aplicativo de bloco de notas programável gratuito e de código aberto, construído com assistência do Claude Code. Ele possui um servidor MCP integrado, permitindo que o Claude Code interaja diretamente com o aplicativo para ler/escrever páginas, executar scripts, criar tarefas e enviar resultados.

OpenClawRadar
Contextium: Framework de Contexto Persistente de Código Aberto para Claude Code
Tools

Contextium: Framework de Contexto Persistente de Código Aberto para Claude Code

Contextium é um framework estruturado de repositório git que fornece contexto persistente para sessões do Claude Code, usando um arquivo CLAUDE.md como roteador de contexto para carregar sob demanda arquivos markdown relevantes. A versão de código aberto inclui um modelo com 6 aplicativos de exemplo e 27 documentos de integração.

OpenClawRadar