推理框架
推理框架
高性能 LLM 推理框架的设计与实现
本文将分享大语言模型推理相关工作,以及大语言模型性能优化的一些关键点。在大语言模型推理中常会用到四个
1