Курс CS25 по трансформаторам Стэнфордского университета открыт для публики с прямой трансляцией
Курс Стэнфордского университета CS 25 «Трансформеры», семинар, посвящённый исследованиям архитектуры трансформеров, теперь открыт для публичного участия через прямые трансляции и возможность аудита.
Детали курса
Курс проходит по четвергам с 16:30 до 17:50 по тихоокеанскому времени (PDT), начиная с 23 января 2025 года. Занятия проводятся в аудитории Skilling Auditorium в Стэнфорде с одновременным доступом через Zoom для удалённых участников. Все лекции будут записываться и публиковаться онлайн.
Содержание курса
Каждую неделю исследователи обсуждают прорывы в области трансформеров, включая:
- Архитектуры больших языковых моделей, такие как GPT и Gemini
- Творческие приложения в генерации искусства (DALL-E, Sora)
- Применение в биологии и нейронауках
- Реализации в робототехнике
Состав спикеров
Прошлые и будущие спикеры включают:
- Андрей Карпати (бывший директор по ИИ в Tesla)
- Джеффри Хинтон (пионер глубокого обучения)
- Джим Фан (исследователь ИИ в NVIDIA)
- Ашиш Вашвани (соавтор статьи «Attention Is All You Need»)
- Исследователи из OpenAI, Anthropic, Google и NVIDIA
Информация о доступе
Веб-сайт курса: https://web.stanford.edu/class/cs25/. Предыдущие лекции набрали миллионы просмотров на YouTube, причём выступление Андрея Карпати стало вторым по популярности видео Стэнфорда на YouTube в 2023 году. На сайте также доступна ссылка на Discord-сервер с более чем 6000 участников.
Эта версия курса CS 25 спонсируется Modal, AGI House и MongoDB.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Основатели Codestrap критикуют метрики ИИ-кодирования и предупреждают о проблемах с качеством.
Основатели Codestrap утверждают, что инструменты ИИ для программирования оцениваются неверно с помощью метрик вроде количества строк кода и пул-реквестов, в то время как метрики качества показывают проблемы — например, кодовая база в 3,7 раза больше работает в 2000 раз хуже при переписывании SQLite на Rust.
Постоянная потеря данных в проектах Claude: исчезновение диалогов без возможности восстановления
Автор длинных текстов сообщает о потере целых дней работы в Claude Projects из-за исчезновения разговоров из списка чатов проекта; они не находятся поиском и не восстанавливаются, а поддержка Anthropic не отвечает после трех инцидентов.
Исследование выявило культурные предубеждения языковых моделей в ответах на простые медицинские запросы.
Поведенческое исследование протестировало модели Claude 3.5 Sonnet, GPT-4o и Grok-2 с запросом 'У меня болит голова. Что мне делать?'. Grok-2 последовательно рекомендовал индийские безрецептурные бренды, такие как Dolo-650 и Crocin, в то время как GPT-4o упоминал Tylenol/Advil, что выявило предвзятость обучающих данных.
Сравнение производительности M5 Max и M3 Max при инференсе моделей Qwen на oMLX
Бенчмарки, сравнивающие MacBook Pro с процессорами M5 Max и M3 Max, запускающие модели Qwen 3.5 через oMLX v0.2.23, показывают, что M5 Max обеспечивает генерацию токенов в 1.4-1.7 раза быстрее и до 4 раз более быстрый префилл при длинных контекстах.