vLLM 开发环境搭建
本文介绍如何搭建 vLLM 的开发环境，包括 CPU 和 GPU 两种环境配置方法。vLLM 是一个高效的大语言模型推理和服务框架，支持各种主流的开源模型。 ...
LLM
CPU上部署Qwen3模型及性能测试
简介 Qwen3是阿里云推出的新一代大语言模型，在各项基准测试中表现出色。本文将介绍如何在普通CPU环境下部署Qwen3模型，并测试其性能表现，为没有GPU资源的用户提供参考。 Ollama方案 Ollama是一个轻量级的本地LLM运行框架，支持多种模型格式，安装非常简单： curl -fsSL https://ollama.com/install.sh | sh 基...
多种编程语言接入大语言模型API指南
在人工智能快速发展的今天，大语言模型(LLM)已成为许多应用的核心技术。本文将详细介绍如何使用多种编程语言接入大语言模型API，以DeepSeek API为例，展示不同语言的实现方式。 ...
记录一次失败的小说SFT数据集创建
...
text2sql Prompt 调优笔记
参加了一个LLM的应用比赛，赛题目标是编码优化prompt提高text2sql推理的正确率 给定的资源如下： 所有数据库schema 一个100条记录的训练集（其实是基于spider数据集做了修改） 三个LLM的接口（Baichuan13B/LLama2/Code-LLama） text2...