CUDA、Triton 与 Flash Attention 学习之旅

引言 Info 在深度学习和高性能计算领域,GPU 加速技术已成为提升模型训练和推理速度的关键。CUDA、Triton 和 Flash Attention 作为这一领域的重要技术,对于理解和优化大型语言模型尤为重要。本文将客观地探讨这些技术的学习路径、核心概念以及学习过程中的关键策略。 学习方法论的演变 传统的学习理念常常强调...

2025-04-08 · 6 min · 2599 字 · Niuhe

Docker Compose 实用指南:从入门到实践

Docker Compose 的两个版本 目前 Docker Compose 有两个主要版本: Docker Compose V1:传统版本,命令为 docker-compose Docker Compose V2:新版本,命令为 docker compose(无连字符) # 检查版本 docker-compose --version # V1 docker compose version # V2 一个简单的 Web 应用示例 让我们从一个简单的 Web 应用开始,它包含一个 Web 服务和一个数据库服务。 创建项目结构 my-web-app/ ├── docker-compose.yaml ├── web/ │ ├── Dockerfile │ ├── app.py...

2025-04-08 · 3 min · 1232 字 · Niuhe

多种编程语言接入大语言模型API指南

在人工智能快速发展的今天,大语言模型(LLM)已成为许多应用的核心技术。本文将详细介绍如何使用多种编程语言接入大语言模型API,以DeepSeek API为例,展示不同语言的实现方式。 ...

2025-04-01 · 4 min · 1882 字 · Niuhe

UV 包管理器使用指南

UV 相比 pip 的主要优势 速度更快 使用 Rust 编写,性能优化更好 并行下载依赖 更智能的依赖解析算法 更好的依赖解析 更准确的依赖树计算 更好地处理版本冲突 支持 lockfile,确保环境的可重现性 现代化特性 原生支持虚拟环境管理 与 pip 完全兼容 支持从多种源安装包(PyPI、Git、本地等) 安装方法 在 macOS 上安装 U...

2025-03-31 · 4 min · 1577 字 · Niuhe

C Language Cheetsheet

快速回忆C语言怎么写 ...

2025-01-13 · 1 min · 295 字 · Niuhe

记录一次失败的小说SFT数据集创建

...

2025-01-13 · 5 min · 2361 字 · Niuhe

whisper模型转录Pytorch播客内容

...

2024-12-13 · 499 min · 249546 字 · Niuhe

使用Netron可视化ONNX模型

...

2024-12-01 · 2 min · 751 字 · Niuhe

使用 PyTorch 进行 MNIST 手写数字识别

...

2024-10-04 · 2 min · 873 字 · Niuhe

集合通信入门

...

2024-08-12 · 6 min · 2809 字 · Niuhe

MPI入门-安装和基本使用

...

2024-08-11 · 3 min · 1258 字 · Niuhe

数据中心组网收敛比概念和计算

...

2024-08-10 · 5 min · 2255 字 · Niuhe

局域网搭建文件分享服务

...

2024-07-21 · 2 min · 809 字 · Niuhe

Python创建自己的package

...

2024-05-25 · 2 min · 716 字 · Niuhe

制作Docker镜像模拟服务器节点

...

2024-05-05 · 1 min · 421 字 · Niuhe