Tulip 是 Perplexity 用 Rust 写的轻量级 gRPC 推理服务器，位于 Ivy 和 ROSE 引擎之间。它收集进来的请求，做批处理，再发给 GPU。
Tulip 是 Perplexity 用 Rust 写的轻量级 gRPC 推理服务器，位于 Ivy 和 ROSE 引擎之间。它收集进来的请求，做批处理，再发给 GPU。
对于小型嵌入模型，运行时间取决于 token 数而非查询数量，所以大约 512 个 token 就能占满 GPU。https://t.co/2hTVDKIndU