Qwen2-0.5B Ajustado para Automação de Tarefas Locais com llama.cpp

Um desenvolvedor ajustou o Qwen2-0.5B para automação de tarefas, criando um modelo que roda completamente localmente na CPU sem exigir GPU ou APIs em nuvem. O projeto, chamado ACE, está disponível no GitHub.

O Que Ele Faz

• Recebe tarefas em linguagem natural (ex.: "copiar logs para backup")
• Detecta o tipo de tarefa: atômica, repetitiva ou de esclarecimento
• Gera planos de execução compostos por comandos CLI e atalhos de teclado
• Roda completamente localmente na CPU (sem GPU, sem APIs em nuvem)

Detalhes Técnicos

• Modelo base: Qwen2-0.5B
• Treinamento: Ajuste fino com LoRA em aproximadamente 1000 exemplos de tarefas personalizadas
• Quantização: Formato GGUF Q4_K_M (tamanho do arquivo: 300MB)
• Inferência: llama.cpp
• Tempo de inferência: 3-10 segundos em processadores i3/i5

Principais Desafios Durante o Treinamento

• Qualidade dos dados: Teve que regenerar o conjunto de dados 2-3 vezes devido a exemplos ruins
• Sobreajuste: Foram necessárias várias iterações para estabilizar a perda de validação
• Tratamento do token EOS: O modelo não parava de gerar até que a configuração do tokenizer fosse corrigida
• Conversão GGUF: Exigiu dtype BF16 + quantização imatrix para obter saídas estáveis

Limitações (v0.1)

• Exige caminhos completos de arquivos (ainda não há busca inteligente de arquivos)
• Inferência apenas na CPU (mais lenta em hardware antigo)
• Execução básica (sem compreensão visual)

Benchmarks de Desempenho

• i5 (2018+) com SSD: 3-5 segundos
• i3 (2015+) com SSD: 5-10 segundos
• Hardware antigo (Pentium + HDD): 30-90 segundos

O desenvolvedor está buscando feedback sobre o desempenho em diferentes hardwares, casos extremos que quebram o modelo e solicitações de recursos para a v0.2.