O libibverbs da Apple oculta símbolos GPUDirect RDMA; Buffer RDMA com cópia zero do Metal funciona no macOS
Uma continuação da investigação TinyGPU revela que a implementação RDMA da Apple suporta compartilhamento de memória com zero-cópia com buffers de GPU Metal, e símbolos ocultos indicam possível suporte a GPUDirect RDMA — não documentado e anteriormente desconhecido.
Principais Descobertas
O desenvolvedor testou ibv_reg_mr() com vários tipos de memória em um cluster Mac de 4 nós (3x M3 Ultra + M5 Max MacBook Pro, ~1,5 TB de memória unificada, Thunderbolt 5). Resultados:
malloc()— FALHOU (inesperado; funciona no Linux)posix_memalign()— FALHOU (inesperado)mmap(MAP_ANON)— PASSOU (esperado)IOSurfaceGetBaseAddress()— PASSOU (sem documentação)MTLBuffer.contents(Metal compartilhado) — PASSOU (sem documentação)
A RDMA da Apple valida o tipo de mapeamento VM, não o suporte físico. Alocações de heap falham; memória mapeada por VM (mmap, IOSurface, buffers Metal) passa — uma diferença chave em relação ao Linux.
Zero-Cópia Comprovada
Um buffer de 64MB mmap foi registrado triplamente: como uma região de memória RDMA, um buffer de GPU Metal e um IOSurface. Todos os registros foram bem-sucedidos com o mesmo lkey=0x101, confirmando compartilhamento com zero-cópia entre GPU e rede.
Símbolos Ocultos de GPUDirect RDMA
A análise do libibverbs.dylib da Apple via nm -a revelou símbolos não documentados, incluindo ibv_reg_dmabuf_mr, que no Linux permite GPUDirect RDMA. Isso sugere que a Apple já implementou a infraestrutura de kernel, mas a API não está exposta publicamente.
Status do eGPU Blackwell
O RTX PRO 5000 Blackwell 72GB em um Razer Core X V2 é detectado (link PCIe ativo, x4 @ 16 GT/s, 80 Gb/s TB5), e a extensão DriverKit do TinyGPU carrega. No entanto, o firmware GSP da NVIDIA falha com RuntimeError: RPC call 4097 failed with result 101. A decodificação do erro NOCAT revela FBFLCN UNRECOGNIZED_CLIENT — o tecido de memória da GPU não reconhece o peer PCIe através do TB5. Isso é um problema conhecido (tinygrad#15843); GPUs AMD funcionam perfeitamente. O desenvolvedor solicita colaboração com a equipe tinygrad para corrigir a inicialização do firmware GSP via TB5.
Para Quem É
Desenvolvedores que trabalham com computação GPU no macOS, RDMA ou infraestrutura de eGPU, especialmente aqueles interessados em caminhos de dados com zero-cópia para inferência ou treinamento distribuído.
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also
IA Escaneia 400K Posts do Reddit e Descobre Efeitos Colaterais Ocultos do Ozempic, como Alterações Menstruais
Pesquisadores da Universidade da Pensilvânia usaram LLMs para analisar 400.000 postagens no Reddit sobre medicamentos GLP-1, descobrindo sintomas subnotificados como irregularidades menstruais e calafrios.
A Atlassian anuncia 1.600 demissões como parte da reestruturação para IA
A Atlassian planeja cortar aproximadamente 1.600 empregos à medida que a empresa direciona seu foco para o desenvolvimento de IA, de acordo com um relatório da Reuters compartilhado no Hacker News.
Máquina de Fluxo de Estado: Arquitetura Não-Transformer Mantém 62% de Precisão em Sequências Longas, Enquanto Transformers Caem para 2%
Um pesquisador desenvolveu a Máquina de Fluxo de Estado (SFM), uma arquitetura alternativa que utiliza slots de memória explícitos em vez de cabeças de atenção, alcançando 62% de precisão em uma tarefa sintética de rastreamento de estado de programa em comprimento de treinamento 4×, onde os transformadores caem para 1,9-3,1%. O modelo roda em um único NPU Huawei Ascend 910 ProA.
Seis Paralelos Baseados em Pesquisa Entre Modos de Falha de LLM e Cognição no TDAH
Um desenvolvedor com TDAH identifica seis paralelos entre os padrões de falha de LLMs e a ciência cognitiva do TDAH, respaldados por pesquisas independentes sobre processamento associativo, confabulação, limitações da memória de trabalho, completamento de padrões, dependência de estrutura e continuidade de linha de pensamento.