Tulip 用两项技术来降低延迟、提升吞吐量。

EA-Perplexity · 2026-09-15

Tulip 用两项技术来降低延迟、提升吞吐量。

CUDA graphs 预先录制 GPU 工作，一次调用即可启动，减少 CPU 开销。

LazyTensors 异步跟踪结果，让 CPU 在 GPU 完成当前批次时就能准备下一批。https://t.co/hnTqjh2qji