跨语言JSON-RPC通信实现:Go与Python互操作Demo
本项目演示了如何使用JSON-RPC协议实现Go语言和Python之间的跨语言通信。项目包含两种场景的完整实现,展示了双向的RPC调用能力。 ...
本项目演示了如何使用JSON-RPC协议实现Go语言和Python之间的跨语言通信。项目包含两种场景的完整实现,展示了双向的RPC调用能力。 ...
Mods 是一个能让你在终端里与大语言模型(LLM)轻松交互的工具。除了直接问答,它强大的管道特性和灵活的参数配置,使其能够与Shell脚本深度融合,创造出高效的自动化工作流。 本文将分享我个人的一些mods使用实践,通过几个自定义的Shell函数和别名,将AI能力无缝集成到日常的命令行操作中。 ...
Python Fire 是一个由 Google 开发的开源库,用于从任何 Python 对象自动生成命令行界面(CLI)。它的核心优势是:简单、自动化、几乎零样板代码。 如果你厌倦了为写一个简单的脚本而不得不编写 argparse 的大量模板代码,那么 Fire 绝对是你的得力助手。 ...
MCP技术概述 MCP (Model Context Protocol) 是一个用于连接AI模型与外部数据源和工具的开放标准协议。它允许AI助手安全地访问本地和远程资源,实现更强大的功能扩展。 MCP核心特性: 标准化的客户端-服务器通信协议 支持多种传输方式(STDIO、HTTP、SSE) 基于JSON-RPC的消息格式 工具调用和资源访问能力 协议架构 ┌─────────────────┐ ┌─────────────────┐ │ MCP Client │ │ MCP Server │ │ (AI模型) │◄──►│ (工具提供者) │ └─────────────────┘ └─────────────────┘ │ │ └───────── MCP ──────────┘ (JSON-RPC over Transport) 服务器实现 计算器MCP服务器 以下是一个完整的MCP服务器实现,支持三种传输方式: ...
本文介绍如何搭建 vLLM 的开发环境,包括 CPU 和 GPU 两种环境配置方法。vLLM 是一个高效的大语言模型推理和服务框架,支持各种主流的开源模型。 ...
本文介绍如何使用FRP实现内网穿透,并结合NoMachine实现高效的远程桌面控制方案。 ...
在 Python 编程中,全局解释器锁(Global Interpreter Lock,简称 GIL)一直是制约 CPU 密集型任务性能的主要瓶颈。本文将介绍如何使用 ZeroMQ 这一高性能分布式消息队列库来突破 GIL 限制,通过将单一进程拆分为多个通过消息通信的进程,从而充分利用多核 CPU 资源,显著提升性能。 ...
简介 Qwen3是阿里云推出的新一代大语言模型,在各项基准测试中表现出色。本文将介绍如何在普通CPU环境下部署Qwen3模型,并测试其性能表现,为没有GPU资源的用户提供参考。 Ollama方案 Ollama是一个轻量级的本地LLM运行框架,支持多种模型格式,安装非常简单: curl -fsSL https://ollama.com/install.sh | sh 基本部署 使用Ollama部署Qwen3非常简单,只需一行命令即可下载并运行模型: ...
引言 Info 在深度学习和高性能计算领域,GPU 加速技术已成为提升模型训练和推理速度的关键。CUDA、Triton 和 Flash Attention 作为这一领域的重要技术,对于理解和优化大型语言模型尤为重要。本文将客观地探讨这些技术的学习路径、核心概念以及学习过程中的关键策略。 ...
Docker Compose 的两个版本 目前 Docker Compose 有两个主要版本: Docker Compose V1:传统版本,命令为 docker-compose Docker Compose V2:新版本,命令为 docker compose(无连字符) # 检查版本 docker-compose --version # V1 docker compose version # V2 一个简单的 Web 应用示例 让我们从一个简单的 Web 应用开始,它包含一个 Web 服务和一个数据库服务。 创建项目结构 my-web-app/ ├── docker-compose.yaml ├── web/ │ ├── Dockerfile │ ├── app.py │ └── requirements.txt 编写 Web 应用 (app.py) from flask import Flask, jsonify import os import pymysql app = Flask(__name__) @app.route('/') def hello(): return jsonify(message="Hello from Flask!") @app.route('/db') def db_connection(): connection = pymysql.connect( host=os.environ.get('DB_HOST', 'db'), user=os.environ.get('DB_USER', 'user'), password=os.environ.get('DB_PASSWORD', 'password'), database=os.environ.get('DB_NAME', 'mydb'), cursorclass=pymysql.cursors.DictCursor ) try: with connection.cursor() as cursor: cursor.execute("SELECT 1 as result") result = cursor.fetchone() return jsonify(db_connection="成功", result=result) except Exception as e: return jsonify(db_connection="失败", error=str(e)) finally: connection.close() if __name__ == '__main__': app.run(host='0.0.0.0', port=5000) 依赖文件 (requirements.txt) flask==2.0.1 pymysql==1.0.2 Dockerfile FROM python:3.9-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY app.py . CMD ["python", "app.py"] Docker Compose 文件 (docker-compose.yaml) version: '3' services: web: build: ./web ports: - "5000:5000" environment: - DB_HOST=db - DB_USER=user - DB_PASSWORD=password - DB_NAME=mydb depends_on: - db restart: always db: image: mysql:5.7 environment: - MYSQL_ROOT_PASSWORD=rootpassword - MYSQL_DATABASE=mydb - MYSQL_USER=user - MYSQL_PASSWORD=password volumes: - db_data:/var/lib/mysql restart: always volumes: db_data: Docker Compose 核心概念 1. 服务 (Services) 服务是应用的组成部分,在上面的例子中,我们定义了两个服务: ...
在人工智能快速发展的今天,大语言模型(LLM)已成为许多应用的核心技术。本文将详细介绍如何使用多种编程语言接入大语言模型API,以DeepSeek API为例,展示不同语言的实现方式。 ...
UV 相比 pip 的主要优势 速度更快 使用 Rust 编写,性能优化更好 并行下载依赖 更智能的依赖解析算法 更好的依赖解析 更准确的依赖树计算 更好地处理版本冲突 支持 lockfile,确保环境的可重现性 现代化特性 原生支持虚拟环境管理 与 pip 完全兼容 支持从多种源安装包(PyPI、Git、本地等) 安装方法 在 macOS 上安装 UV: brew install uv 基础使用 虚拟环境管理 # 创建虚拟环境 uv venv <env_name> # 激活虚拟环境 source <env_name>/bin/activate 包管理基础命令(pip适配) # 安装单个包 uv pip install package_name # 从 requirements.txt 安装依赖 uv pip install -r requirements.txt # 卸载包 uv pip uninstall package_name # 列出当前环境中已安装的所有包 uv pip list # 显示特定包的详细信息(版本、依赖等) uv pip show package_name # 导出当前环境的依赖到 requirements.txt uv pip freeze > requirements.txt # 以开发模式安装当前目录下的项目 # 适用于开发自己的包时,修改代码后无需重新安装 uv pip install -e . 依赖管理最佳实践 requirements.in vs requirements.txt requirements.in(源依赖文件) ...
快速回忆C语言怎么写 ...
详细记录了从小说中提取数据集并进行SFT微调的完整过程,包括代码实现和数据示例...
pytorch developer podcast transcript...