Python后端性能分析06:流式CSV导出,把内存峰值与资源生命周期一起测清楚
Python后端性能分析06:流式CSV导出,把内存峰值与资源生命周期一起测清楚

报表页面只显示几百行,导出功能却可能一次返回几十万行。最直接的实现是fetchall读取所有订单,把整份CSV写进StringIO,再把完整字符串交给HTTP响应。结果正确,内存却可能同时保存数据库行对象、文本缓冲区和编码后的字节。改成生成器通常能减少同时存活的数据,但只有消费端也逐块处理时,这个优势才成立。本篇把生成、传输和消费分开观察,避免看到StreamingResponse就宣布内存问题已经解决。
ReportForge导出合成订单的id、tenant_id、day和amount_cents,按id排序,只包含目标租户。我们保留buffered_csv作为完整缓冲的对照实现,同时提供iter_csv按批次读取并逐段生成CSV。两种实现必须输出完全相同的内容;性能优化不能漏行、改变排序或把其他租户的数据混进下载文件。正确性与资源使用应在同一实验里分别验证。
上一篇E05完整答案
运行python lessons/06/answer_previous.py。它遍历全部游标页,验证没有重复和遗漏,并检查篡改游标与跨租户复用被拒绝。分页返回的是一串有限响应,本篇导出则把同一个租户的数据作为连续字节流交付。两者都依赖稳定的id顺序,但各自的资源生命周期和消费方式不同。
"""E05:签名游标完整遍历、防篡改、绑定租户,并展示追加可见的非冻结语义。"""
from pathlib import Path
import sys
sys.path.insert(0, str(Path(__file__).resolve().parents[1]))
from support import sandbox
def request_page(client, headers, cursor=None, limit=73, tenant=1):
params = {"tenant": tenant, "limit": limit}
if cursor is not None:
params["cursor"] = cursor
return client.get("/orders/page", headers=headers, params=params)
def main():
with sandbox(count=3000) as (client, headers):
seen, cursor, first_cursor = [], None, None
for _ in range(100):
response = request_page(client, headers, cursor)
assert response.status_code == 200
payload = response.json()
ids = [item["id"] for item in payload["items"]]
assert ids == sorted(ids) and all(item["tenant_id"] == 1 for item in payload["items"])
assert not set(ids) & set(seen)
if seen and ids:
assert ids[0] > seen[-1]
seen.extend(ids)
cursor = payload["next_cursor"]
if first_cursor is None:
first_cursor = cursor
if cursor is None:
break
else:
raise AssertionError("Cursor traversal did not terminate")
assert seen == [order_id for order_id in range(1, 3001) if (order_id - 1) % 5 + 1 == 1]
assert first_cursor is not None
# 签名为十六进制文本,替换最后一个字符必然改变签名字节。
tampered = first_cursor[:-1] + ("0" if first_cursor[-1] != "0" else "1")
assert request_page(client, headers, tampered).status_code == 400
assert request_page(client, headers, first_cursor, tenant=2).status_code == 400
assert request_page(client, headers, first_cursor).status_code == 200
with sandbox(count=100) as (client, headers):
first = request_page(client, headers, limit=7)
assert first.status_code == 200 and first.json()["next_cursor"] is not None
seen = [item["id"] for item in first.json()["items"]]
added = client.post("/orders", headers=headers, json={"tenant": 1, "day": 3, "amount_cents": 555})
assert added.status_code == 201
cursor = first.json()["next_cursor"]
while cursor is not None:
response = request_page(client, headers, cursor, limit=7)
assert response.status_code == 200
payload = response.json()
ids = [item["id"] for item in payload["items"]]
assert not set(ids) & set(seen)
seen.extend(ids)
cursor = payload["next_cursor"]
assert seen == [order_id for order_id in range(1, 101) if (order_id - 1) % 5 + 1 == 1] + [added.json()["id"]]
print("E05 PASS: 600 unique seed rows; invalid cursors rejected; later append is visible")
if __name__ == "__main__":
main()
先问内存里同时活着什么
buffered版本通常有三个阶段:数据库驱动创建结果行对象,CSV写入文本缓冲,HTTP层把文本编码成字节。具体实现可能及时释放一部分中间对象,也可能在函数返回时仍保留多份引用。因此不能只用最终文件大小推断峰值内存。一个20MB文件在生成过程中使用超过20MB的Python对象空间,并不一定意味着泄漏,可能只是多个表示同时存活。
流式版本将读取与生成交错:取一个有限批次,写出对应CSV片段,交给消费者,再继续下一批。它缩短了每批行对象的生命周期,也不必在导出函数中保留完整文本。batch_size在本项目默认200,它控制每次数据库取回的行数,不是网络包大小,也不是对整个进程内存的硬上限。框架、驱动和消费端仍然有各自的缓冲。
如果调用者写成''.join(iter_csv(...)),最终仍会构造完整字符串。这种写法适合小规模正确性比较,却不能拿来证明流式内存峰值。内存实验的消费端应逐块更新摘要和累计字节数,不保存所有片段;等测量结束后,再单独做内容相等检查。这样可以区分“生成器本身是否受控”与“调用者是否又把结果收集回内存”。
CSV必须由标准库生成
本项目字段都是可控数字,但仍使用csv模块写出行。手工用逗号拼接看起来更短,一旦未来加入带逗号、引号或换行的字段,就可能改变列数和文件结构。性能优化应建立在正确序列化之上,不能通过跳过转义获得一份快但不可靠的CSV。表头顺序也属于合同,必须是id、tenant_id、day、amount_cents。
测试不只比较文件长度。两个错误文件可能同样长;更稳妥的方式是对流式逐块编码后的字节计算SHA-256,再与buffered编码结果的摘要及字节数比较,最后用csv.DictReader解析并检查租户、排序与行数。摘要用于高效一致性比较,解析检查用于确认文件确实表达了正确数据,两者关注不同问题。
UTF-8编码也需要明确。iter_csv返回字符串片段,HTTP层负责按响应编码发送;直接函数实验则在每个片段上执行UTF-8编码。不要把Python字符数直接叫作网络字节数。当前数字字段大多使用ASCII,二者恰好相同也只是数据特征,不应成为将来加入中文字段时的隐含假设。
生成器暂停时连接还没有结束
生成器函数调用后并不马上执行全部查询,它在迭代时运行,并在yield处暂停。只要仍有后续行可读,数据库连接与游标可能持续存在。正常遍历结束后应关闭,客户端中途停止下载时也应释放。实现使用finally关闭连接,让生成器被显式close时能够执行清理,而不是依赖垃圾回收器最终发现对象不再被引用。
早停实验必须先调用next让生成器实际进入资源区间,再调用close。对一个从未开始迭代的生成器调用close,可能根本没有打开数据库,因此无法证明已打开连接会被清理。答案会在真实连接外加一个只观察close的代理,消费一个片段后结束生成器,断言连接关闭。这个代理不替换SQL结果,也不伪造数据库读取,只记录资源生命周期。
生成器finally通过测试,不等于所有部署链路的断开处理都已验证。框架、异步包装、反向代理和客户端断连如何触发迭代关闭,需要单独的真实网络实验。TestClient通常会消费响应体,不适合直接模拟一个慢客户端在中途断开连接。课程会明确把“直接生成器早停关闭”与“HTTP导出内容正确”分开,不把前者夸大成所有网络取消路径已得到证明。
tracemalloc观察的不是进程RSS
tracemalloc跟踪Python内存分配器可见的分配,适合比较Python对象在某段代码中的当前值与峰值。它不会完整覆盖SQLite原生库、网络缓冲、解释器所有基础开销或操作系统驻留页。报告中的peak_bytes应该明确叫作tracemalloc峰值,不能改名为RSS,也不能据此声称一个容器只需同样大小的内存限制。
测量时分别启动跟踪、执行一种导出消费方式、读取峰值、停止跟踪。两组实验之间不要保留上一份完整字符串,否则后一组会受到不属于它的对象影响。可以先做垃圾回收以减少明显残留,但不能假装这就等于操作系统完全冷启动。课程记录实际峰值而不要求某个固定比例,因为Python版本、数据规模、驱动和机器状态都会影响结果。
时间和内存也可能存在取舍。较小批次减少临时行对象,却增加fetchmany和CSV片段处理次数;较大批次减少调用次数,却提高每批活跃数据量。正确的批次不是越小越好,而是结合导出规模、首字节延迟、吞吐与内存预算测量。当前默认200是教学中易观察的选择,不是所有数据库和部署环境的最佳参数。
HTTP层还有背压与占用时间
生成器可以按需提供下一块内容,但慢客户端会延长整个响应的持续时间。连接释放变晚、数据库读快照维持更久,也可能影响并发写入或连接池容量。把完整缓冲改成流式并不是让资源消失,而是把高峰内存换成一段持续占用。生产系统常需要导出并发上限、超时、后台生成文件或对象存储下载,具体选择取决于业务规模。
ReportForge使用SQLite教学单库,没有外部连接池或对象存储。因此本篇不宣称已经解决大规模导出调度。你应该能够从代码推导:每个活跃导出会打开一个读取连接,读完或关闭生成器后释放;同时导出数量增加时,连接与处理时间也会增加。内存峰值只是容量分析的一项输入,不能单独决定允许多少并发下载。
本课完整导出模块
先阅读buffered_csv理解对照路径,再阅读iter_csv的查询、fetchmany、CSV缓冲复用与finally。检查租户过滤是否在SQL中、排序是否明确,以及表头是否只输出一次。优化后的代码应该让资源生命周期更容易推理,而不是为了减少几行代码把连接打开和关闭隐藏在无法观察的全局对象里。
"""每次fetchmany形成有限CSV块,生成器早停也关闭独立读取连接。"""
import csv
import io
from .db import connect as _connect
from .models import valid_int
FIELDS = ("id", "tenant_id", "day", "amount_cents")
def connect(database):
# HTTP线程池可能逐块换线程;同一生成器只允许串行next/close,不共享并发使用。
return _connect(database, check_same_thread=False)
def iter_csv(database, tenant, batch_size=200):
"""调用者完整消费或显式close;HTTP层另外保证断连时调用close。"""
valid_int(tenant, 1, 5, "tenant")
valid_int(batch_size, 1, 10000, "batch_size")
conn = connect(database)
try:
conn.execute("BEGIN")
cursor = conn.execute("SELECT id,tenant_id,day,amount_cents FROM orders WHERE tenant_id=? ORDER BY id", (tenant,))
buffer = io.StringIO(newline="")
writer = csv.writer(buffer)
writer.writerow(FIELDS)
yield buffer.getvalue()
while rows := cursor.fetchmany(batch_size):
buffer.seek(0)
buffer.truncate(0)
writer.writerows(tuple(row[field] for field in FIELDS) for row in rows)
yield buffer.getvalue()
finally:
conn.close()
def buffered_csv(database, tenant):
"""对照路径一次fetchall并持有完整CSV,不用假数据制造内存差异。"""
valid_int(tenant, 1, 5, "tenant")
conn = connect(database)
try:
rows = conn.execute("SELECT id,tenant_id,day,amount_cents FROM orders WHERE tenant_id=? ORDER BY id", (tenant,)).fetchall()
buffer = io.StringIO(newline="")
writer = csv.writer(buffer)
writer.writerow(FIELDS)
writer.writerows(tuple(row[field] for field in FIELDS) for row in rows)
return buffer.getvalue()
finally:
conn.close()
实际基准由本套benchmark工具记录,不在文章中写一个机器无关的“节省百分之九十”。阅读报告时核对数据条数、租户行数、消费方式和测量工具。若报告仅测了100行,不能直接推断几十万行时的表现;若消费端把全部片段join,峰值结果也不能代表逐块下载。实验条件与数字同样重要。
本课练习 E06:内容一致、峰值可解释、早停能关闭
在3000订单临时库中,对租户1分别运行buffered与流式导出,记录各自tracemalloc峰值、字节数和摘要,不断言固定倍速或内存比例。解析CSV确认有600条数据、全部tenant_id为1、id严格升序。再调用HTTP导出接口,确认其内容与直接函数一致。
最后给真实数据库连接加关闭观察代理,启动生成器、消费第一个片段后close,要求关闭次数为1。说明这个实验验证的是直接生成器资源释放,TestClient响应会缓冲消费,不能证明慢客户端断连行为。下一篇给完整答案,并讨论另一种优化:把重复报表结果暂存在缓存里,怎样同时控制容量、过期、写后失效与并发填充。
专题目录:《Python后端性能分析:从“接口慢”到有证据的优化》 · 上一篇:《Python后端性能分析05:下一页从哪里继续——键集游标、签名与非冻结快照》 · 下一篇:《Python后端性能分析07:TTL缓存不只是字典,控制容量、失效与并发填充》
更多推荐



所有评论(0)