Posts by Ganesh Kudleppanavar
数据中心/云端
2025年 5月 6日
LLM 推理基准测试指南:NVIDIA GenAI-Perf 和 NIM
这是 LLM 基准测试系列 的第二篇文章,介绍了在使用 NVIDIA NIM 部署 Meta Llama 3 模型 时,
4 MIN READ
数据中心/云端
2024年 8月 1日
使用 NVIDIA GenAI-Perf 和 OpenAI 兼容 API 测量生成式 AI 模型性能
NVIDIA 提供 Perf Analyzer 和 Model Analyzer 等工具,帮助机器学习工程师测量和平衡延迟与吞吐量之间的权衡,
2 MIN READ