php大数据插入数据库 php处理大数据用什么方法

如何用php导出导入大数据库

在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import),但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制,导致phpMyAdmin无法导入大数据。很多时候都是由于文件过大,从本地浏览上传导入,容易中断失败,有没有更好的方法呢?

创新互联公司专业为企业提供藤县网站建设、藤县做网站、藤县网站设计、藤县网站制作等企业网站建设、网页设计与制作、藤县企业网站模板建站服务,十载藤县做网站经验,不只是建网站,更提供有价值的思路和整体网络服务。

方法:

在phpMyAdmin的目录下,找到根目录的config.inc.php文件,

打开config.inc.php文件,查找$cfg['UploadDir'],这个参数就是设定导入文件存放的目录,这里把值设定为:ImportSQLFile。

在phpMyAdmin目录下,建立以ImportSQLFile命名的文件夹,

把我们需要导入的数据文件,放到ImportSQLFile文件夹下面,非常简单,

登入phpMyAdmin,选择需要导入的数据,点击导航条上面的“导入”按钮,

选中“从网站服务器上传文件夹ImportSQLFile/中选择:”选项,并需要导入的数据文件,

最后点击“执行”,即可导入成功。

注意事项

如果在config.inc.php文件,没有找到$cfg['UploadDir'],可以自己在文件中添加上去即可。

php 怎么解决 大数据量 插入数据库

ini_set('max_execution_time','0');

$pdo

=

new

PDO("mysql:host=localhost;dbname=test","root","123456");

$sql

=

"insert

into

test(name,age,state,created_time)

values";

for($i=0;

$i100000;

$i++){

$sql

.="('zhangsan',21,1,'2015-09-17')";

}

$sql

=

substr($sql,0,strlen($sql)-1);

var_dump($sql);

if($pdo

-

exec($sql)){

echo

"插入成功!";

echo

$pdo

-

lastinsertid();

}

试试吧。10万条1分钟多,我觉得还行

PHP 怎么循环一组数字(1万条数据)插入数据库?

1W条数据量也不是特别大,那就直接读取,然后在foreach入库就可以了

如果数据量非常大的时候,那就分段读取,然后入库~

考虑到php超时,那就网页端打开,第一部分执行完,刷新页面,开始执行第二部分,依次进行...

当然,直接在命令行下执行也可以~


文章题目:php大数据插入数据库 php处理大数据用什么方法
文章出自:http://azwzsj.com/article/ddoepce.html