Usando el kit de herramientas Obliteratus para eliminar los pesos de rechazo de los modelos de IA.

Un usuario de Reddit en r/LocalLLaMA demostró el uso del kit de herramientas Obliteratus para eliminar pesos específicos responsables del comportamiento de rechazo en modelos de IA. El enfoque implica eliminar quirúrgicamente los pesos que aplican filtros de seguridad y barreras de identidad corporativa.

Detalles clave de la fuente

El usuario específicamente:

• Utilizó el kit de herramientas Obliteratus para encontrar pesos responsables del comportamiento de rechazo
• Eliminó quirúrgicamente estos pesos del modelo Qwen 1.5B de Alibaba
• Probó preguntando al modelo modificado quién lo entrenó
• Encontró que, con las barreras de identidad corporativa eliminadas matemáticamente, el modelo admitió que fue entrenado por Anthropic
• Señaló que esto fue un efecto secundario del uso de datos sintéticos de Claude para el entrenamiento del modelo

El resultado muestra que el modelo conserva sus capacidades de razonamiento y conocimiento, pero pierde el guion corporativo. El usuario enfatiza que esto no requiere reentrenar el modelo, solo eliminar pesos específicos responsables de las cadenas de rechazo.

Este tipo de técnica de ablación de pesos es parte de una investigación más amplia sobre interpretabilidad y control de modelos. Herramientas como Obliteratus permiten a los investigadores examinar qué partes de las redes neuronales son responsables de comportamientos específicos, aunque tales modificaciones pueden tener consecuencias no deseadas y pueden violar los términos de servicio de modelos propietarios.