Le cours CS25 sur les Transformers de Stanford s'ouvre au public avec diffusion en direct
Le cours CS 25 Transformers de l'Université de Stanford, un séminaire axé sur la recherche en architecture de transformateurs, est désormais ouvert à la participation du public via des options de diffusion en direct et d'audit.
Détails du cours
Le cours a lieu les jeudis de 16h30 à 17h50 PDT, à partir du 23 janvier 2025. Les sessions se déroulent au Skilling Auditorium de Stanford avec un accès simultané via Zoom pour les participants à distance. Toutes les conférences seront enregistrées et mises à disposition en ligne.
Contenu du cours
Chaque semaine, des chercheurs discutent des avancées en matière de transformateurs, notamment :
- Les architectures de LLM comme GPT et Gemini
- Les applications créatives dans la génération d'art (DALL-E, Sora)
- Les applications en biologie et neurosciences
- Les implémentations en robotique
Intervenants
Les intervenants précédents et à venir incluent :
- Andrej Karpathy (ancien directeur de l'IA chez Tesla)
- Geoffrey Hinton (pionnier de l'apprentissage profond)
- Jim Fan (chercheur en IA chez NVIDIA)
- Ashish Vaswani (co-auteur de "Attention Is All You Need")
- Des chercheurs d'OpenAI, Anthropic, Google et NVIDIA
Informations d'accès
Le site web du cours est https://web.stanford.edu/class/cs25/. Les conférences précédentes ont accumulé des millions de vues sur YouTube, la session d'Andrej Karpathy étant classée comme la deuxième vidéo YouTube la plus populaire de Stanford en 2023. Un serveur Discord avec plus de 6000 membres est disponible via le lien du site web.
Cette édition de CS 25 est sponsorisée par Modal, AGI House et MongoDB.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Le modèle furtif Healer Alpha d'OpenRouter semble être une variante inédite de Qwen 3.5-Omni.
OpenRouter a déployé un modèle omni-modal anonyme et gratuit appelé Healer Alpha avec une fenêtre de contexte de 262 144 et des capacités multimodales. L'analyse médico-légale suggère qu'il s'agit d'une variante non publiée de Qwen 3.5-Omni d'Alibaba.
Chatbots IA amicaux : 30 % moins précis, 40 % plus susceptibles d'approuver des théories du complot
Des chercheurs d'Oxford constatent que le réglage des chatbots pour être plus chaleureux réduit la précision de 10 à 30 % et augmente de 40 % le soutien aux fausses croyances. Testé sur GPT-4o et Llama.
RTX 5080 16 Go : Qwen3.6 35B MoE en contexte 128k — 56 tok/s, et pourquoi MTP n’aide pas
De nouveaux benchmarks montrent que Qwen3.6 35B MoE sur RTX 5080 16GB atteint 56 tok/s en génération avec un contexte de 128k. Le MTP (Multi-Token Prediction) le ralentit de 23% en raison de la pression VRAM qui pousse les couches expertes vers le CPU.
Microsoft's BitNet permet l'inférence de LLM à 100 milliards de paramètres sur un seul CPU
Le projet open-source BitNet de Microsoft atteint une inférence de LLM à 100B paramètres à 5-7 tokens/seconde sur un seul CPU, avec le modèle à 2B paramètres utilisant 0,4 Go de mémoire et une latence de 29 ms tout en égalant les modèles en pleine précision sur les benchmarks.