Python 性能优化:使用 ZeroMQ 突破 GIL 限制

在 Python 编程中,全局解释器锁(Global Interpreter Lock,简称 GIL)一直是制约 CPU 密集型任务性能的主要瓶颈。本文将介绍如何使用 ZeroMQ 这一高性能分布式消息队列库来突破 GIL 限制,通过将单一进程拆分为多个通过消息通信的进程,从而充分利用多核 CPU 资源,显著提升性能。 ...

2025-05-06 · 18 min · 8799 字 · Niuhe

CPU上部署Qwen3模型及性能测试

简介 Qwen3是阿里云推出的新一代大语言模型,在各项基准测试中表现出色。本文将介绍如何在普通CPU环境下部署Qwen3模型,并测试其性能表现,为没有GPU资源的用户提供参考。 Ollama方案 Ollama是一个轻量级的本地LLM运行框架,支持多种模型格式,安装非常简单: curl -fsSL https://ollama.com/install.sh | sh 基...

2025-04-28 · 2 min · 529 字 · Niuhe

CUDA、Triton 与 Flash Attention 学习之旅

引言 Info 在深度学习和高性能计算领域,GPU 加速技术已成为提升模型训练和推理速度的关键。CUDA、Triton 和 Flash Attention 作为这一领域的重要技术,对于理解和优化大型语言模型尤为重要。本文将客观地探讨这些技术的学习路径、核心概念以及学习过程中的关键策略。 学习方法论的演变 传统的学习理念常常强调...

2025-04-08 · 6 min · 2599 字 · Niuhe

Docker Compose 实用指南:从入门到实践

Docker Compose 的两个版本 目前 Docker Compose 有两个主要版本: Docker Compose V1:传统版本,命令为 docker-compose Docker Compose V2:新版本,命令为 docker compose(无连字符) # 检查版本 docker-compose --version # V1 docker compose version # V2 一个简单的 Web 应用示例 让我们从一个简单的 Web 应用开始,它包含一个 Web 服务和一个数据库服务。 创建项目结构 my-web-app/ ├── docker-compose.yaml ├── web/ │ ├── Dockerfile │ ├── app.py...

2025-04-08 · 3 min · 1232 字 · Niuhe

多种编程语言接入大语言模型API指南

在人工智能快速发展的今天,大语言模型(LLM)已成为许多应用的核心技术。本文将详细介绍如何使用多种编程语言接入大语言模型API,以DeepSeek API为例,展示不同语言的实现方式。 ...

2025-04-01 · 4 min · 1882 字 · Niuhe

UV 包管理器使用指南

UV 相比 pip 的主要优势 速度更快 使用 Rust 编写,性能优化更好 并行下载依赖 更智能的依赖解析算法 更好的依赖解析 更准确的依赖树计算 更好地处理版本冲突 支持 lockfile,确保环境的可重现性 现代化特性 原生支持虚拟环境管理 与 pip 完全兼容 支持从多种源安装包(PyPI、Git、本地等) 安装方法 在 macOS 上安装 U...

2025-03-31 · 4 min · 1577 字 · Niuhe

C Language Cheetsheet

快速回忆C语言怎么写 ...

2025-01-13 · 1 min · 295 字 · Niuhe

记录一次失败的小说SFT数据集创建

...

2025-01-13 · 5 min · 2361 字 · Niuhe

whisper模型转录Pytorch播客内容

...

2024-12-13 · 499 min · 249546 字 · Niuhe

使用Netron可视化ONNX模型

...

2024-12-01 · 2 min · 751 字 · Niuhe

使用 PyTorch 进行 MNIST 手写数字识别

...

2024-10-04 · 2 min · 873 字 · Niuhe

集合通信入门

...

2024-08-12 · 6 min · 2809 字 · Niuhe

MPI入门-安装和基本使用

...

2024-08-11 · 3 min · 1258 字 · Niuhe

数据中心组网收敛比概念和计算

...

2024-08-10 · 5 min · 2255 字 · Niuhe

局域网搭建文件分享服务

...

2024-07-21 · 2 min · 809 字 · Niuhe