Ganesh Kudleppanavar

Ganesh Kudleppanavar 是 NVIDIA 的系统软件经理,致力于优化机器学习和生成式 AI 模型的性能。他领导 Triton 工具团队,利用功能强大的 Triton 工具对这些模型进行细致的基准测试,确保这些模型在各种应用程序中得到高效部署和无缝利用。Ganesh 拥有加州州立大学长滩分校电气工程硕士学位。

Posts by Ganesh Kudleppanavar

数据中心/云端

LLM 推理基准测试指南:NVIDIA GenAI-Perf 和 NIM

这是 LLM 基准测试系列 的第二篇文章,介绍了在使用 NVIDIA NIM 部署 Meta Llama 3 模型 时, 4 MIN READ
数据中心/云端

LLM 基准测试:基本概念

在过去几年中,作为广泛的 AI 革命的一部分, 生成式 AI 和 大语言模型 (LLMs) 越来越受欢迎。 4 MIN READ
数据中心/云端

使用 NVIDIA GenAI-Perf 和 OpenAI 兼容 API 测量生成式 AI 模型性能

NVIDIA 提供 Perf Analyzer 和 Model Analyzer 等工具,帮助机器学习工程师测量和平衡延迟与吞吐量之间的权衡, 2 MIN READ