PHP处理大量数据不超出内存限制的问题
2017-10-17 20:44
330 查看
例如从两张表中分别查出上百万条数据,现在需要把这些数据组装在一起然后在插入到另外一张表中,请问除了使用数组组装外还能怎么处理,如果使用数组的话怎么才能保证不超出内存限制。
mysql_query函数查询的方式是查询出全部结果后缓存到内存中,这样就会出现超内存的现象,使用另外一个函数mysql_unbuffered_query可以解决这个问题,mysql_unbuffered_query不会缓存结果集,而是查询出来数据后立马对结果集进行操作,也就是便查询边返回,这样就不会出现超出内存的现象,但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向
MySQL 发送一条新的 SQL 查询之前,必须提取掉所有未缓存的 SQL 查询所产生的结果行。例如:
使用缓存结果集的代码:
执行时将会报超出内存的错误:
将上面代码中的$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集,这时运行该函数的结果如下:
可以看到,这时返回一条数据内存占用非常的小,也就700多字节,这样就不会出现超出内存的错误了。
mysql_query函数查询的方式是查询出全部结果后缓存到内存中,这样就会出现超内存的现象,使用另外一个函数mysql_unbuffered_query可以解决这个问题,mysql_unbuffered_query不会缓存结果集,而是查询出来数据后立马对结果集进行操作,也就是便查询边返回,这样就不会出现超出内存的现象,但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向
MySQL 发送一条新的 SQL 查询之前,必须提取掉所有未缓存的 SQL 查询所产生的结果行。例如:
使用缓存结果集的代码:
function selecttest(){ try { $pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');//不使用缓存结果集方式 //$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); $sth = $pdo->prepare('select * from test'); $sth->execute(); echo '最初占用内存大小:' . memory_get_usage() . "\n"; $i = 0; while ($result = $sth->fetch(PDO::FETCH_ASSOC)) { $i += 1; if ($i > 10) { break; } sleep(1); print_r($result); echo '占用内存大小:' . memory_get_usage() . "\n"; } } catch (Exception $e) { echo $e->getMessage(); } }
执行时将会报超出内存的错误:
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56Call Stack: 0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0 0.0005 135568 2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85 0.0050 142528 3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56
将上面代码中的$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集,这时运行该函数的结果如下:
最初占用内存大小:144808Array( [id] => 1 [a] => v [b] => w [c] => i ) 占用内存大小:145544Array( [id] => 2 [a] => b [b] => l [c] => q ) 占用内存大小:145544Array( [id] => 3 [a] => m [b] => p [c] => h ) 占用内存大小:145536Array( [id] => 4 [a] => j [b] => i [c] => b ) 占用内存大小:145536
可以看到,这时返回一条数据内存占用非常的小,也就700多字节,这样就不会出现超出内存的错误了。
相关文章推荐
- 如何解决PHP里大量数据循环时内存耗尽的问题
- 如何解决PHP里大量数据循环时内存耗尽的问题
- 如何解决PHP查询大量数据内存耗尽的问题
- 如何解决PHP里大量数据循环时内存耗尽的问题
- mysql查询大量数据,php内存占用溢出问题
- PHP大量数据循环时内存耗尽问题的解决方案(适用于导出大量数据时内存耗尽情况)
- 如何解决PHP里大量数据循环时内存耗尽的问题
- 如何解决PHP里大量数据循环时内存耗尽的问题
- PHP大量数据循环时内存耗尽问题的解决方案
- 如何解决PHP里大量数据循环时内存耗尽的问题
- 如何解决PHP里大量数据循环时内存耗尽的问题
- 如何解决PHP里大量数据循环时内存耗尽的问题 PHP
- 如何解决PHP里大量数据循环时内存耗尽的问题
- 如何解决PHP里大量数据循环时内存耗尽的问题
- 如何解决PHP查询大量数据内存耗尽的问题
- PHP查询大量数据内存耗尽问题的解决方法
- PHP大量数据循环时内存耗尽问题的解决方案
- PHP大量数据循环时内存耗尽问题的解决方案
- 如何解决PHP里大量数据循环时内存耗尽的问题