抓取结果
NVIDIA AI 技术专区 NVIDIA AI 技术专区 NVIDIA AI 技术专区 NVIDIA技术博客在线研讨会NVIDIA 培训和认证 去全站搜索看看？ 登录 登录社区云 登录社区云，与社区用户共同成长 CSDN账号登录 NVIDIA AI 技术专区 邀请您加入社区 立即加入 欢迎加入社区 取消 确定 欢迎加入社区 取消 确定 搜索 释放算力潜能：TensorRT LLM ADP 平衡策略让推理吞吐量再提升 33% NVIDIA AI 技术专区 2025-10-31 暂无图片 NVIDIA 培训 | 免费报名开发者日 AI 实战培训和认证考试 NVIDIA AI 技术专区 2025-10-31 在 NVIDIA Isaac Lab 2.3 中使用全身控制和增强遥操作，简化机器人学习 NVIDIA AI 技术专区 2025-10-17 暂无图片 如何利用跨区域网络将分布式数据中心连接成大型 AI 工厂 NVIDIA AI 技术专区 2025-10-17 轻松部署、加速推理：TensorRT LLM 1.0 正式上线，全新易用的 Python 式运行 NVIDIA AI 技术专区 2025-10-17 提问题 加入社区 NVIDIA AI 技术专区 https://nvidia.csdn.net 成员 分享最新的 NVIDIA AI Software 资源以及活动/会议信息，精选收录AI相关技术内容，欢迎大家加入社区并参与讨论。 欢迎加入社区 取消 确定 发布内容 类型 问答 讨论 标题 标签 无匹配数据 加载中 附件 添加附件 可以上传10M以内的文件，支持格式：zip,rar,7z,jpg,png,jpeg 注意：为提高问题回答效率，我们可能会把您的问题同步到CSDN等合作平台 取消 发布 专栏精选 AI Software AI Software AI 技术实践 AI 技术实践 线上/线下活动 线上/线下活动 TensorRT-LLM 1.2最新特性：如何用1行代码实现10倍推理加速？ TensorRT-LLM 1.2通过。 我就是全世界 2025-11-17 16:28:42 2858 30 #人工智能 使用 NVIDIA Grove 简化 Kubernetes 上的复杂 AI 推理 管理此类系统需要同步扩展和调度合适的 Pod，了解每个组件不同的配置和资源需求，按特定的顺序启动，并根据网络拓扑结构将它们部署在集群中。在图 1 中，PodClique A 代表前端组件，B 和 C 代表预填充主节点和预填充工作节点，D 和 E 代表解码主节点和解码工作节点。而开发的，它具有足够的灵活性，可以自然地映射到任何现实世界的推理架构，从传统的单节点聚合推理到具有多个模型的代理式。组，例如 NVIDIA AI 技术专区 2025-11-13 14:04:53 853 28 #人工智能 NVIDIA TensorRT LLM 1.2.0rc2z on ubuntu 25.10本地部署安装推理体验 本文记录了在Ubuntu 25.10系统上部署NVIDIA TensorRT LLM 1.2.0rc2的过程。作者使用Intel i5-1240P处理器和RTX2060 SUPER显卡的机器，尝试通过pip安装时遇到连接问题，最终通过指定NVIDIA PyPI源成功下载。但在安装过程中遭遇硬盘空间不足和依赖冲突问题，随后更换到配备4060Ti显卡的机器重新安装，又遇到大量依赖项安装需求。整个部署过 JesseCooper 2025-11-10 19:06:07 2807 4 #ubuntu#linux 在 AutoDL 上部署 TensorRT-LLM 实践 TensorRTLLM 1.0 实战 pluschen 2025-11-08 19:45:14 1732 26 #语言模型#深度学习 在windows 的WSL环境部署TensorRT 本文介绍了在WSL 2中安装TensorRT-LLM的详细过程。由于Windows下依赖包安装困难，选择使用WSL 2。关键步骤包括：创建conda环境、安装CUDA 12.9工具包（需注意WSL特有安装方式）、配置环境变量、安装必要库（如libopenmpi-dev）以及TensorRT-LLM本身，成功完成了所有组件的安装。最后通过官方示例验证了安装效果，能正常运行TinyLlama模型并生成 sanredfish 2025-11-06 22:29:24 2526 15 #windows#人工智能 Tensorrt-llm的基础演示使用#TensorRTLLM 1.0实战# 本文介绍了TensorRT-LLM的快速安装部署方法。TensorRT-LLM是NVIDIA推出的开源大语言模型推理优化库，能显著提升推理速度并降低成本。文章详细讲解了在Ubuntu 22.04系统下使用conda创建Python 3.10虚拟环境，通过pip安装TensorRT-LLM及其依赖的完整流程，并提供了安装验证代码。最后展示了一个简单的使用示例，包括模型量化配置、加载量化模型以及文本生 jdk12123 2025-11-06 09:44:34 2254 8 #nlp NVIDIA TensorRT LLM 1.0 心得 一开始想直接 pip install，结果发现官方 PyPI 包对驱动版本要求很严，折腾半天依赖冲突，干脆改用 NGC 上的官方 Docker 镜像（nvcr.io/nvidia/tritonserver:24.07-trtllm-python-py3）。拉下来之后启动容器，挂载本地模型目录，省去了环境配置的麻烦。另外，文档虽然齐全，但示例分散在 GitHub 和官网，新手容易迷路。，顺手在本地部 翎刿 2025-11-04 12:05:56 2251 7 Yolo与大语言模型的结合 | NVIDIA TensorRT LLM使用体验 在实际的测试过程中，我根据今年工创赛智能救援赛题小球识别进行测试，在Jetson Orin Nano 4GB 推理 qwen2:1.5b，通过TensorRT加速YoloV5，已检测图像中的小球，返回小球中心点的信息（包括坐标、类别），在通过TensorRT LLM 解析目标信息，根据赛题需求，根据小球与安全区的相对位置，给出最终决策。通过结合视觉理解（YOLO）和语言生成（LLM），可以实现更复 qq_46705247 2025-11-02 21:05:19 2644 13 #语言模型#人工智能 释放算力潜能：TensorRT LLM ADP 平衡策略让推理吞吐量再提升 33% 然而，IFB 在注意力模块中带来了负载不平衡的挑战，严重影响了系统性能。例如，一些 rank 可能在处理计算密集型的 context（上下文）阶段，而其他 rank 则在执行 generation（生成）阶段，从而形成 token 处理负载的巨大差异。由于各个 rank 间的工作负载可能是异构的，因此在给定迭代中的注意力模块的执行时间由负载最大的 rank 所限制。ADP 中的基本挑战在于，同一迭 NVIDIA AI 技术专区 2025-10-31 09:23:15 582 3 #人工智能 NVIDIA 培训 | 免费报名开发者日 AI 实战培训和认证考试 进一步考取 NVIDIA 认证，面向开发者和 IT 专业人员，验证专业技能，发展职业生涯，解锁新机遇。参加 NVIDIA 认证，展示您的专业知识和技能，为个人推动职业发展，为企业增强竞争力。开发者日活动期间，面向国内开发者和 IT 专业人员，提供 3 门免费 Associate（初级）和 5 门Professional（中级）认证考试。以下 8 门认证，仅可选择一门参加。扫描以下二维码，访问 NV NVIDIA AI 技术专区 2025-10-31 09:20:26 1003 28 #人工智能 加载更多 欢迎加入社区 取消 确定 NVIDIA AI 技术专区 加入社区 欢迎加入社区 取消 确定 提供社区服务与技术支持 提供社区服务与技术支持 ©1999-2023北京创新乐知网络技术有限公司 京ICP备19004658号
网站标题
NVIDIA AI 技术专区
关键词
NVIDIA AI 技术专区
站点描述
NVIDIA AI 技术专区 -分享最新的 NVIDIA AI Software 资源以及活动/会议信息，精选收录AI相关技术内容，欢迎大家加入社区并参与讨论。