vLLM

本文介绍如何搭建 vLLM 的开发环境，包括 CPU 和 GPU 两种环境配置方法。vLLM 是一个高效的大语言模型推理和服务框架，支持各种主流的开源模型。 ...

简介 Qwen3是阿里云推出的新一代大语言模型，在各项基准测试中表现出色。本文将介绍如何在普通CPU环境下部署Qwen3模型，并测试其性能表现，为没有GPU资源的用户提供参考。 Ollama方案 Ollama是一个轻量级的本地LLM运行框架，支持多种模型格式，安装非常简单： curl -fsSL https://ollama.com/install.sh | sh 基...