如何解决PHP查询大量数据内存耗尽的问题

这个问题在PHP的官方网站上叫缓冲查询和非缓冲查询(Buffered and Unbuffered queries)。PHP的查询缺省模式是缓冲模式。也就是说，查询数据结果会一次全部提取到内存里供PHP程序处理。这样给了PHP程序额外的功能，比如说，计算行数，将指针指向某一行等。更重要的是程启唤序可以对数据集反复进行二次查询和过滤等操作。但这种缓冲查询模式的缺陷就是消耗内存，也就是用空间换速度。

为渑池等地区用户提供了全套网页设计制作服务，及渑池网站建设行业解决方案。主营业务为做网站、网站设计、渑池网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

相对的，另外一种PHP查询模式察旁渗是非缓冲查询，数据库服务器会一条一条的返回数据，而不是一次全部返回，这样的结果就是PHP程序消耗较少的内存，但却增加了数据库服务器的压力，因为数据库会一直等待PHP来取数据，一直到数据全部取完。

很显然，缓冲查询模式适败脊用于小数据量查询，而非缓冲查询适应于大数据量查询。

在PHP中怎么解决大量数据处理的问题

mysql_query函数查询的方式是查询出全部结果后缓存到内存中，这样就会出现超内存的现象，使用另外一个函数mysql_unbuffered_query可以解决这个问题，mysql_unbuffered_query不会缓存结果集，而是查询出来数据后立马对结果集进行操作，也就是便查询边返回，这样就不会出现超出内存的现象，但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 发送一条新的 SQL 查询之前，必须提取掉所有未缓存的 SQL 查询所产生的结果行。例如：

使用缓存结果集的代码：

function selecttest()

{

try {

$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');

//纳卜 不使用缓存结果集方式

// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$sth = $pdo-prepare('select * from test');

$sth-execute();

echo '最初占用内存大小：' . memory_get_usage() . "\n"散衫;

$i = 0;

while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {

$i += 1;

if ($i 10) {

break;

}

sleep(1);

print_r($result);

echo '占用内存大小：' . memory_get_usage() . "\n";

}

} catch (Exception $e) {

echo $e-getMessage();

}

}

执行时将会报超出内存的错误：

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0

0.0005 135568 2. test-洞掘穗selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85

0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56

将上面代码中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集，这时运行该函数的结果如下：

最初占用内存大小：144808

Array

(

[id] = 1

[a] = v

[b] = w

[c] = i

)

占用内存大小：145544

Array

(

[id] = 2

[a] = b

[b] = l

[c] = q

)

占用内存大小：145544

Array

(

[id] = 3

[a] = m

[b] = p

[c] = h

)

占用内存大小：145536

Array

(

[id] = 4

[a] = j

[b] = i

[c] = b

)

占用内存大小：145536

可以看到，这时返回一条数据内存占用非常的小，也就700多字节，这样就不会出现超出内存的错误了。

php 如何把数据放入内存

不幸地告诉你，PHP是直接操作内存的，你声明的一个变量，新建的简顷对象，都是放在内存里的。。

--------------分割线------------------------

其孙渣实，你要的是一个缓存，每次读取的时候，先读cache，cache里没有的话，，你预加载5页，放到memcached（一个比较常用的Cache)里;如则咐悄果有的话，就直接读cache。

解析PHP中的内存管理,PHP动态分配和释放内存

本篇文章是对PHP中的内存管理 PHP动态分配和释放内存进行了详细的分析介绍 需要的朋友参考下  

摘要 内存管理对于长期运行的程序 例如服务器守护程序 是相当重要的影响 因此 理解PHP是如何分配与释放内存的对于创建这类程序极为重要 本文将重点探讨PHP的内存管理问题

一 内存 在PHP中 填充一个字符串变量相当简单 这只需要一个语句"＜?php $str = hello world ; ?＞"即可 并且该字符串能够被自由地修改 拷贝和移动 而在C语言中 尽管你能够编写例如"char *str = "hello world ";"这样的一个简单的静态字符串 但是 却不能修改该字符串 因为它生存于程序空间内 为了创建一个可操纵的字符串 你必须分配一个内存块 并且通过一 个函数（例如strdup()）来运卖复制其内容

复制代码 代码如下: { char *str; str = strdup("hello world"); if (!str) { fprintf(stderr "Unable to allocate memory!"); } }

由于后面我们将分析的各种原因 传统型内存管理函数（例如malloc() free() strdup() realloc() calloc() 等等）几乎都不能直接为PHP源代码所使用

二 释放内存 在几乎所有的平台上 内存管理都是通旁滑逗过一种请求和释放模式实现的 首先 一个应用程序请求它下面的层(通常指"操作系统") "我想使用一些内存空间" 如果存在可用的空间 操作系统就会把它提供给该程序并且打上一个标记以便不会再把这部分内存分配给其它程序 当 应用程序使用完这部分内存 它应该被返回到OS 这样以来 它就能够被继续分配给其它程序 如果该程序不返回这部分内存 那么OS无法知道是否这块内存不 再使用并进而再分配给另一个进程 如果一个内存块没有释放 并且所有者应用程序丢失了它 那么 我们就说此应用程序"存在漏洞" 因为这部分内存无法再为 其它程序可用 在一个典型的客户端应用程序中 较小的不太经常的内存泄漏有时能够为OS所"容忍" 因为在这个进程稍后结束时该泄漏内存会被隐式返回到OS 这并没有什么 因为OS知道它把该内存分配给了哪个程序 并且它能够确信当该程序终止时不再需要该内存 而对于长时间运行的服务器守护程序 包括象Apache这样的web服务器和扩展php模块来说 进程往往被设计为相当长时间一直运行 因为OS不能清理内存使用 所以 任何程序的泄漏 无论是多么小 都将导致重复操作并最终耗尽所有的系统资源 现 在 我们不妨考虑用户空间内的stristr()函数 为了使用大小写不敏感的搜索来查找一个字符串 它实际上创建了两个串的各自的一个小型副本 然后执 行一个更传统型的大小写敏感的搜索来查找相对的偏移量 然而 在定位该字符串的偏移量之后 它不再使用这些小写版本的字符串 如果它不释放这些副本 那 么 每一个使用stristr()的脚本在每次调用它时都将泄漏一些内存 最后 web服务器进程将拥有所有的系统内存 但却不能够使用它 你可以理直气壮地说 理想的解决方案就是编写良好 干净的 一致的代码 这当然不错 但是 在一个象PHP解释器这样的环境中 这种观点仅对了一半

三 错误处理 为了实现"跳出"对用户空间脚本及其依赖的扩展函数的一个活动请求 需要使用一种方法来 完全"跳出"一个活动请求 这是在Zend引擎内实现的 在一个请求的开始设置一个"跳出"地址 然后在任何die()或exit()调用或在遇到任何关 键错误(E_ERROR)时执行一个longjmp()以跳转到该"跳出"地址 尽管让好这个"跳出"进程能够简化程序执行的流程 但是 在绝大多数情况下 这会意味着将会跳过资源清除代码部分(例如free()调用)并最终导致出现内存漏洞 现在 让我们来考虑下面这个简化版本的处理函数调用的引擎代码

复制代码 代码如下: void call_function(const char *fname int fname_len TSRMLS_DC){ zend_function *fe; char *lcase_fname; /* PHP函数名是大小写不敏感的 *为了简化在函数表中对它们的定位 *所有函数名都隐含地翻译为小写的 */ lcase_fname = estrndup(fname fname_len); zend_str_tolower(lcase_fname fname_len); if (zend_hash_find(EG(function_table) lcase_fname fname_len + (void **)fe) == FAILURE) { zend_execute(fe ＞op_array TSRMLS_CC); } else { php_error_docref(NULL TSRMLS_CC E_ERROR "Call to undefined function: %s()" fname); } efree(lcase_fname); }

当 执行到php_error_docref()这一行时 内部错误处理器就会明白该错误级别是critical 并相应地调用longjmp()来中断当前 程序流程并离开call_function()函数 甚至根本不会执行到efree(lcase_fname)这一行 你可能想把efree()代码行移 动到zend_error()代码行的上面 但是 调用这个call_function()例程的代码行会怎么样呢？fname本身很可能就是一个分配的 字符串 并且 在它被错误消息处理使用完之前 你根本不能释放它 注意 这个php_error_docref()函数是trigger_error()函数的一个内部等价实现 它的第一个参数是一个将被添加到docref的可选的文档引用 第三个参数可以是任何我们熟悉的E_*家族常量 用于指示错误的严重程度 第四个参数（最后一个）遵循printf()风格的格式化和变量参数列表式样 四 Zend内存管理器 在 上面的"跳出"请求期间解决内存泄漏的方案之一是 使用Zend内存管理(ZendMM)层 引擎的这一部分非常类似于操作系统的内存管理行为 分配内存 给调用程序 区别在于 它处于进程空间中非常低的位置而且是"请求感知"的 这样以来 当一个请求结束时 它能够执行与OS在一个进程终止时相同的行为 也就是说 它会隐式地释放所有的为该请求所占用的内存 图 展示了ZendMM与OS以及PHP进程之间的关系 图 Zend内存管理器代替系统调用来实现针对每一种请求的内存分配 除 了提供隐式内存清除功能之外 ZendMM还能够根据php ini中memory_limit的设置控制每一种内存请求的用法 如果一个脚本试图请求比 系统中可用内存更多的内存 或大于它每次应该请求的最大量 那么 ZendMM将自动地发出一个E_ERROR消息并且启动相应的"跳出"进程 这种方法 的一个额外优点在于 大多数内存分配调用的返回值并不需要检查 因为如果失败的话将会导致立即跳转到引擎的退出部分 把PHP内部代码和 OS的实际的内存管理层"钩"在一起的原理并不复杂 所有内部分配的内存都要使用一组特定的可选函数实现 例如 PHP代码不是使用malloc( ) 来分配一个 字节内存块而是使用了emalloc( ) 除了实现实际的内存分配任务外 ZendMM还会使用相应的绑定请求类型来标志该内存块 这 样以来 当一个请求"跳出"时 ZendMM可以隐式地释放它 经常情况下 内存一般都需要被分配比单个请求持续时间更长的一段时间 这 种类型的分配（因其在一次请求结束之后仍然存在而被称为"永久性分配"） 可以使用传统型内存分配器来实现 因为这些分配并不会添加ZendMM使用的那 些额外的相应于每种请求的信息 然而有时 直到运行时刻才会确定是否一个特定的分配需要永久性分配 因此ZendMM导出了一组帮助宏 其行为类似于其它 的内存分配函数 但是使用最后一个额外参数来指示是否为永久性分配 如果你确实想实现一个永久性分配 那么这个参数应该被设置为 在这 种情况下 请求是通过传统型malloc()分配器家族进行传递的 然而 如果运行时刻逻辑认为这个块不需要永久性分配 那么 这个参数可以被设置为零 并且调用将会被调整到针对每种请求的内存分配器函数 例如 pemalloc(buffer_len )将映射到malloc(buffer_len) 而pemalloc(buffer_len )将被使用下列语句映射到emalloc(buffer_len) #define in Zend/zend_alloc h: #define pemalloc(size persistent) ((persistent)?malloc(size): emalloc(size)) 所有这些在ZendMM中提供的分配器函数都能够从下表中找到其更传统的对应实现 表格 展示了ZendMM支持下的每一个分配器函数以及它们的e/pe对应实现 表格 传统型相对于PHP特定的分配器

分配器函数 e/pe对应实现 void *malloc(size_t count); void *emalloc(size_t count);void *pemalloc(size_t count char persistent); void *calloc(size_t count); void *ecalloc(size_t count);void *pecalloc(size_t count char persistent); void *realloc(void *ptr size_t count); void *erealloc(void *ptr size_t count); void *perealloc(void *ptr size_t count char persistent); void *strdup(void *ptr); void *estrdup(void *ptr);void *pestrdup(void *ptr char persistent); void free(void *ptr); void efree(void *ptr); void pefree(void *ptr char persistent);

你可能会注意到 即使是pefree()函数也要求使用永久性标志 这是因为在调用pefree()时 它实际上并不知道是否ptr是一种永久性分 配 针对一个非永久性分配调用free()能够导致双倍的空间释放 而针对一种永久性分配调用efree()有可能会导致一个段错误 因为内存管理器会试 图查找并不存在的管理信息 因此 你的代码需要记住它分配的数据结构是否是永久性的 除了分配器函数核心部分外 还存在其它一些非常方便的ZendMM特定的函数 例如 void *estrndup(void *ptr int len); 该函数能够分配len+ 个字节的内存并且从ptr处复制len个字节到最新分配的块 这个estrndup()函数的行为可以大致描述如下

复制代码 代码如下: void *estrndup(void *ptr int len) { char *dst = emalloc(len + ); memcpy(dst ptr len); dst[len] = ; return dst; }

在 此 被隐式放置在缓冲区最后的NULL字节可以确保任何使用estrndup()实现字符串复制操作的函数都不需要担心会把结果缓冲区传递给一个例如 printf()这样的希望以为NULL为结束符的函数 当使用estrndup()来复制非字符串数据时 最后一个字节实质上都浪费了 但其中的利明显 大于弊 void *safe_emalloc(size_t size size_t count size_t addtl); void *safe_pemalloc(size_t size size_t count size_t addtl char persistent); 这 些函数分配的内存空间最终大小是((size*count)+addtl) 你可以会问 "为什么还要提供额外函数呢？为什么不使用一个 emalloc/pemalloc呢？"原因很简单 为了安全 尽管有时候可能性相当小 但是 正是这一"可能性相当小"的结果导致宿主平台的内存溢出 这可能会导致分配负数个数的字节空间 或更有甚者 会导致分配一个小于调用程序要求大小的字节空间 而safe_emalloc()能够避免这种类型的陷 井 通过检查整数溢出并且在发生这样的溢出时显式地预以结束 注意 并不是所有的内存分配例程都有一个相应的p*对等实现 例如 不存在pestrndup() 并且在PHP 版本前也不存在safe_pemalloc()

五 引用计数 慎重的内存分配与释放对于PHP（它是一种多请求进程）的长期性能有极其重大的影响 但是 这还仅是问题的一半 为了使一个每秒处理上千次点击的服务器高效地运行 每一次请求都需要使用尽可能少的内存并且要尽可能减少不必要的数据复制操作 请考虑下列PHP代码片断

复制代码 代码如下: ＜?php $a = Hello World ; $b = $a; unset($a); ?＞

在第一次调用之后 只有一个变量被创建 并且一个 字节的内存块指派给它以便存储字符串"Hello World" 还包括一个结尾处的NULL字符 现在 让我们来观察后面的两行 $b被置为与变量$a相同的值 然后变量$a被释放 如 果PHP因每次变量赋值都要复制变量内容的话 那么 对于上例中要复制的字符串还需要复制额外的 个字节 并且在数据复制期间还要进行另外的处理器加 载 这一行为乍看起来有点荒谬 因为当第三行代码出现时 原始变量被释放 从而使得整个数据复制显得完全不必要 其实 我们不妨再远一层考虑 让我们设想 当一个 MB大小的文件的内容被装载到两个变量中时会发生什么 这将会占用 MB的空间 此时 已经足够了 引擎会把那么多的时间和内存浪费在这 样一种无用的努力上吗？ 你应该知道 PHP的设计者早已深谙此理 记住 在引擎中 变量名和它们的值实际上是两个不同的概念 值本身是一个无名的zval*存储体（在本例中 是一个字符串值） 它被通过zend_hash_add()赋给变量$a 如果两个变量名都指向同一个值 会发生什么呢？

复制代码 代码如下: { zval *helloval; MAKE_STD_ZVAL(helloval); ZVAL_STRING(helloval "Hello World" ); zend_hash_add(EG(active_symbol_table) "a" sizeof("a") helloval sizeof(zval*) NULL); zend_hash_add(EG(active_symbol_table) "b" sizeof("b") helloval sizeof(zval*) NULL); }

此 时 你可以实际地观察$a或$b 并且会看到它们都包含字符串"Hello World" 遗憾的是 接下来 你继续执行第三行代码"unset($a);" 此时 unset()并不知道$a变量指向的数据还被另一个变量所使 用 因此它只是盲目地释放掉该内存 任何随后的对变量$b的存取都将被分析为已经释放的内存空间并因此导致引擎崩溃 这个问题可以借助于 zval（它有好几种形式）的第四个成员refcount加以解决 当一个变量被首次创建并赋值时 它的refcount被初始化为 因为它被假定仅由 最初创建它时相应的变量所使用 当你的代码片断开始把helloval赋给$b时 它需要把refcount的值增加为 这样以来 现在该值被两个变量 所引用

复制代码 代码如下: { zval *helloval; MAKE_STD_ZVAL(helloval); ZVAL_STRING(helloval "Hello World" ); zend_hash_add(EG(active_symbol_table) "a" sizeof("a") helloval sizeof(zval*) NULL); ZVAL_ADDREF(helloval); zend_hash_add(EG(active_symbol_table) "b" sizeof("b") helloval sizeof(zval*) NULL); }

现在 当unset()删除原变量的$a相应的副本时 它就能够从refcount参数中看到 还有另外其他人对该数据感兴趣 因此 它应该只是减少refcount的计数值 然后不再管它

六 写复制（Copy on Write） 通过refcounting来节约内存的确是不错的主意 但是 当你仅想改变其中一个变量的值时情况会如何呢？为此 请考虑下面的代码片断

复制代码 代码如下: ＜?php $a = ; $b = $a; $b += ; ?＞

通过上面的逻辑流程 你当然知道$a的值仍然等于 而$b的值最后将是 并且此时 你还知道 Zend在尽力节省内存 通过使$a和$b都引用相同的zval（见第二行代码） 那么 当执行到第三行并且必须改变$b变量的值时 会发生什么情况呢？ 回答是 Zend要查看refcount的值 并且确保在它的值大于 时对之进行分离 在Zend引擎中 分离是破坏一个引用对的过程 正好与你刚才看到的过程相反

复制代码 代码如下: zval *get_var_and_separate(char *varname int varname_len TSRMLS_DC) { zval **varval *varcopy; if (zend_hash_find(EG(active_symbol_table) varname varname_len + (void**)varval) == FAILURE) { /* 变量根本并不存在 失败而导致退出*/ return NULL; } if ((*varval) ＞refcount ＜ ) { /* varname是唯一的实际引用 *不需要进行分离 */ return *varval; } /* 否则 再复制一份zval*的值*/ MAKE_STD_ZVAL(varcopy); varcopy = *varval; /* 复制任何在zval*内的已分配的结构*/ zval_copy_ctor(varcopy); /*删除旧版本的varname *这将减少该过程中varval的refcount的值 */ zend_hash_del(EG(active_symbol_table) varname varname_len + ); /*初始化新创建的值的引用计数 并把它依附到 * varname变量 */ varcopy ＞refcount = ; varcopy ＞is_ref = ; zend_hash_add(EG(active_symbol_table) varname varname_len + varcopy sizeof(zval*) NULL); /*返回新的zval* */ return varcopy; }

现在 既然引擎有一个仅为变量$b所拥有的zval*（引擎能知道这一点） 所以它能够把这个值转换成一个long型值并根据脚本的请求给它增加

七 写改变（change on write） 引用计数概念的引入还导致了一个新的数据操作可能性 其形式从用户空间脚本管理器看来与"引用"有一定关系 请考虑下列的用户空间代码片断

复制代码 代码如下: ＜?php $a = ; $b = $a; $b += ; ?＞

在 上面的PHP代码中 你能看出$a的值现在为 尽管它一开始为 并且从未(直接)发生变化 之所以会发生这种情况是因为当引擎开始把$b的值增加 时 它注意到$b是一个对$a的引用并且认为"我可以改变该值而不必分离它 因为我想使所有的引用变量都能看到这一改变" 但是 引擎是如何 知道的呢？很简单 它只要查看一下zval结构的第四个和最后一个元素（is_ref）即可 这是一个简单的开/关位 它定义了该值是否实际上是一个用户 空间风格引用集的一部分 在前面的代码片断中 当执行第一行时 为$a创建的值得到一个refcount为 还有一个is_ref值为 因为它仅为一 个变量($a)所拥有并且没有其它变量对它产生写引用改变 在第二行 这个值的refcount元素被增加为 除了这次is_ref元素被置为 之外 （因为脚本中包含了一个""符号以指示是完全引用） 最后 在第三行 引擎再一次取出与变量$b相关的值并且检查是否有必要进行分离 这一次该值没有被分离 因为前面没有包括一个检查 下面是get_var_and_separate()函数中与refcount检查有关的部分代码

复制代码 代码如下: if ((*varval) ＞is_ref || (*varval) ＞refcount ＜ ) { /* varname是唯一的实际引用 * 或者它是对其它变量的一个完全引用 *任何一种方式 都没有进行分离 */ return *varval; }

这一次 尽管refcount为 却没有实现分离 因为这个值是一个完全引用 引擎能够自由地修改它而不必关心其它变量值的变化

八 分离问题 尽管已经存在上面讨论到的复制和引用技术 但是还存在一些不能通过is_ref和refcount操作来解决的问题 请考虑下面这个PHP代码块

复制代码 代码如下: ＜?php $a = ; $b = $a; $c = $a; ?＞

在 此 你有一个需要与三个不同的变量相关联的值 其中 两个变量是使用了"change on write"完全引用方式 而第三个变量处于一种可分离 的"copy on write"（写复制）上下文中 如果仅使用is_ref和refcount来描述这种关系 有哪些值能够工作呢？ 回答是 没有一个能工作 在这种情况下 这个值必须被复制到两个分离的zval*中 尽管两者都包含完全相同的数据(见图 )

图 引用时强制分离

同样 下列代码块将引起相同的冲突并且强迫该值分离出一个副本(见图 )

图 复制时强制分离

复制代码 代码如下: ＜?php $a = ; $b = $a; $c = $a; ?＞ lishixinzhi/Article/program/PHP/201311/20951

网站栏目：php内存处理数据 php内存释放机制
网页链接：http://azwzsj.com/article/ddpdeco.html