Tag: distributed

All the articles with the tag "distributed".

• LLM 通信原语详解（一）：从 Send/Recv 到 All-to-All

  Updated:16 Sep, 2026

  点对点与八个集合通信原语的语义、每卡通信量、torch.distributed 代码与 LLM 训练推理场景——并行策略的底层词汇表