Psycopg2执行大数据量SQL卡死的原因是什么？如何解决？

psycopg2执行大数据量sql卡死的原因及其解决方法

在使用psycopg2处理大数据量sql时，经常会遇到执行execute(sql)后程序卡死的现象，同时内存占用持续上升。这是由于psycopg2默认使用客户端游标，而客户端游标会将全部查询结果加载到内存中，导致内存溢出。

解决方案

要解决此问题，可以使用服务端游标，其只会在需要时才从数据库获取数据，从而避免内存溢出。

服务端游标的用法

psycopg2中，可以通过以下方式开启服务端游标：

with conn.cursor(name='server_cursor') as cursor:     cursor.itersize = 10000  # 设置你要的批量大小     cursor.execute(sql)     for record in cursor:         # 处理记录

其中：

• conn是数据库连接对象。
• cursor.itersize设置每次从服务端获取数据的批量大小，默认为0，表示取消批量获取。