如何使用python协程中gevent模块？

gevent 协程的运行模型与适用场景

gevent 是 Python 中常用于处理高并发 IO 任务的协程库，它基于 greenlet 构建轻量级执行单元，并由自身的事件循环进行调度。与线程模型相比，协程的创建和切换成本更低，适合在大量任务都需要等待网络响应、文件读写、数据库查询等外部资源时使用。gevent 的核心价值在于，当某个任务暂时不需要占用 CPU 时，它会主动把执行权让给其他任务，从而减少空等时间。

理解 gevent 的关键是区分普通阻塞与可调度阻塞。普通函数如果长时间进行 CPU 计算，协程无法自动切换；而如果函数调用的是 gevent 能够识别的等待操作，例如 gevent.sleep，或者经过补丁处理后的 socket 等待，当前协程就会暂停，调度器会运行其他已经准备好的协程。这种协作式调度让程序可以用接近同步代码的写法，获得并发执行的效果。

在安装层面，gevent 通常可以通过包管理工具直接安装。安装完成后，程序即可导入 gevent 模块，并使用 spawn、joinall 等接口组织协程任务。对于需要兼容标准库 IO 的场景，还需要配合 monkey 补丁机制，将默认阻塞式调用替换为能够触发协程切换的版本。

pip install gevent

这条安装命令会安装 gevent 及其依赖的底层组件。在真实项目中，建议将 gevent 与具体业务场景结合评估，尤其要判断任务是否以 IO 等待为主。如果程序主要消耗 CPU，单纯引入协程并不会带来明显收益，反而可能增加理解成本。

使用 spawn、joinall 与 sleep 组织协程任务

gevent 中最常见的入口是 gevent.spawn。它接收一个可调用对象以及参数，返回一个协程对象。协程对象被创建后并不会立刻执行完毕，而是等待调度器安排。为了让主流程等待所有任务完成，可以使用单个协程的 join 方法，也可以使用 gevent.joinall 批量等待一组协程。

下面的示例创建了两个协程，分别模拟不同耗时的 IO 等待。由于 gevent.sleep 是 gevent 明确支持的协作式等待操作，因此当一个协程进入睡眠时，另一个协程可以继续运行，从而体现切换效果。

import gevent

def task(name, delay):
    print(f"协程{name}开始执行")
    gevent.sleep(delay)  # 模拟 IO 阻塞，会触发协程切换
    print(f"协程{name}执行完成，耗时{delay}秒")

# 创建两个协程
g1 = gevent.spawn(task, "A", 2)
g2 = gevent.spawn(task, "B", 1)

# 等待所有协程执行完成
gevent.joinall([g1, g2])
print("所有协程执行结束")

运行这段代码时，输出顺序能够说明协程切换的过程。协程 A 先开始执行并进入等待，随后协程 B 开始执行。由于 B 的等待时间更短，它会先完成，A 在等待结束后再完成。最终主流程在所有协程完成后继续输出结束信息。这种模式非常适合把多个独立任务拆分出来，再统一等待结果。

需要注意的是，gevent.sleep 只是演示协程切换最直接的方式。真实业务中，等待可能来自请求库、数据库驱动、消息队列客户端或 socket 通信。如果这些底层等待没有被 gevent 识别，协程就不会自动让出执行权，这时就需要引入补丁机制。

monkey 补丁如何让标准库 IO 参与协程切换

gevent 默认只能识别自身提供的协作式接口，例如 gevent.sleep。如果代码里直接使用标准库的 time.sleep、socket 通信或其他阻塞式 IO，而没有做任何处理，那么当前协程可能会把整个执行流程卡住。为了解决这个问题，gevent 提供了 monkey 补丁机制。

monkey.patch_all 会在运行时替换多个标准库中的阻塞式函数，使它们变成与 gevent 调度器兼容的版本。补丁生效后，原本看似同步的等待操作也可以在等待期间切换协程。为了让补丁覆盖更多模块，通常建议尽早执行补丁逻辑，尽量放在后续业务模块导入之前。

from gevent import monkey
monkey.patch_all()  # 尽量在所有导入之前执行

import gevent
import time

def task(name, delay):
    print(f"协程{name}开始执行")
    time.sleep(delay)  # 补丁后 time.sleep 可触发切换
    print(f"协程{name}执行完成")

gevent.joinall([
    gevent.spawn(task, "A", 2),
    gevent.spawn(task, "B", 1)
])

在这个示例中，虽然代码调用的是 time.sleep，但由于补丁已经生效，等待过程同样会触发协程切换。对于已有同步代码来说，这种机制非常有价值，因为不需要把每一处等待都改成 gevent 专用接口。不过，补丁也会改变全局行为，因此在大型项目中需要明确其影响范围，避免与不兼容的库同时使用。

并发网络请求、结果收集与异常处理

网络请求是 gevent 最典型的应用场景之一。当多个请求都需要等待服务端响应时，串行执行会让总耗时接近所有请求耗时之和；而使用协程后，多个请求可以在等待期间交错执行，整体耗时更接近最慢请求的耗时。下面的示例使用 requests 发起请求，并通过 gevent.spawn 创建多个并发任务。

from gevent import monkey
monkey.patch_all()

import gevent
import requests

def fetch_url(url):
    print(f"开始请求{url}")
    resp = requests.get(url)
    print(f"请求{url}完成，状态码：{resp.status_code}")
    return resp.status_code

urls = [
    "http://ipipp.com",
    "http://127.0.0.1:8080",
    "http://192.168.0.1"
]

# 创建协程并发请求
tasks = [gevent.spawn(fetch_url, url) for url in urls]
gevent.joinall(tasks)

# 获取所有协程的返回值
results = [task.value for task in tasks]
print(f"所有请求结果：{results}")

示例中的 tasks 列表保存了所有协程对象，gevent.joinall 负责等待它们结束。随后通过遍历协程对象的 value 属性收集返回值。这种方式适合任务正常完成的情况。如果某个任务内部抛出异常，直接访问 value 并不能得到完整错误信息，还需要借助协程对象的 get 方法或提前在任务内部捕获异常。

协程异常处理与普通函数有所不同。协程内部抛出的异常不会自动传播到主流程，如果不主动获取结果，异常可能被忽略。为了让错误显式暴露，可以在等待协程时调用 get，它会在协程正常结束时返回结果，在协程异常结束时重新抛出异常。

import gevent

def error_task():
    print("协程开始执行")
    raise ValueError("协程内部发生错误")

g = gevent.spawn(error_task)
try:
    g.get()  # 调用 get 方法获取结果时会抛出协程内部的异常
except ValueError as e:
    print(f"捕获到协程异常：{e}")

通过这种方式，开发者可以把协程内部的错误纳入常规异常处理流程。对于生产环境，更稳妥的做法是在任务函数内部记录日志、设置默认值或进行重试，再通过统一的结果结构返回给调用方。这样既能避免单个任务失败影响整体流程，也能让并发系统保持更稳定的可观测性。

• 补丁应尽量在程序早期执行，确保后续导入的模块使用已被替换的 IO 实现。
• gevent 更适合 IO 密集型任务，不适合用协程解决纯 CPU 计算带来的性能问题。
• 长时间占用 CPU 的 C 扩展调用可能无法触发协程切换，容易造成整体阻塞。
• 协程结果和异常应通过明确的方式获取，避免任务失败后没有任何反馈。

综合来看，gevent 的优势在于用较轻量的协程模型处理大量等待型任务，同时保留相对直观的同步代码风格。真正使用时，需要理解补丁机制、任务等待方式以及异常传播路径。只要把 gevent 放在合适的 IO 密集场景中，并避开 CPU 密集和不可协作阻塞的调用，它就能够在高并发服务、批量请求、网关转发和后台任务等场景中发挥稳定作用。

geventpython协程greenletmonkey_patch修改时间：2026-07-12 03:48:23