用Laravel轻松处理千万级数据

码农天地 - 2020-12-24 09:20:43

---

在Laravel中使用cursor来查询并处理数据 (轻松处理千万级的数据)事发现场最近在项目中遇到内存不足的问题, 测试环境中的PHP内存只有64M,在导出的时候, 数据量比较大,这个时候会出现内存溢出的错误;如何解决

目前想到两种方法:

调整php.ini文件中memory_limit配置项; 或者在调用方法中调整内存大小ini_set('memory_limit', "").使用Laravel的Lazy Collection.考虑到修改配置文件的影响范围过大, 以及对导出的实时性要求不是很高, 所以我们选择了第二种方法.Lazy Collection

如何使用Lazy Collection? 很简单, 将查询构建器链末尾的get()更改为cursor()就好了 !

cursor ( )cursor的原理cursor的实现使用了 yield 关键字, yield关键字是生成器函数的核心, 它的调用形式跟return很像, 不同之处在于return会返回值并且终止函数执行, 而yield会返回值给循环调用生成器的代码并且只是暂停生成器函数.cursor()的代码如下

 /** 
   * 
   Get a generator for the given query. 
   * 
   * @return Generator
   */
 public function cursor() {
    foreach ($this->applyScopes()->query->cursor() as $record) { 
        yield $this->newModelInstance()->newFromBuilder($record);
    } 
 }
 

由于使用了yield关键字, 在循环cursor生成器的时候,可以渐进式的处理数据,即使在内存很小的情况下,也可以轻松处理千万级的数据! 真的是非常方便哦!

laravel介绍

Laravel是一套简洁、优雅的PHP Web开发框架(PHP Web Framework)。它可以让你从面条一样杂乱的代码中解脱出来；它可以帮你构建一个完美的网络APP，而且每行代码都可以简洁、富于表达力。在Laravel中已经具有了一套高级的PHP ActiveRecord实现 -- Eloquent ORM。它能方便的将“约束（constraints）”应用到关系的双方，这样你就具有了对数

更多关于laravel的阅读

Tags 标签

laravelphp

扩展阅读