Python从不同格式文件中加载数据的速度举例分析
这篇文章主要介绍“Python从不同格式文件中加载数据的速度举例分析”,在日常操作中,相信很多人在Python从不同格式文件中加载数据的速度举例分析问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Python从不同格式文件中加载数据的速度举例分析”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
在威县等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供网站设计、成都网站建设 网站设计制作定制开发,公司网站建设,企业网站建设,品牌网站制作,营销型网站建设,成都外贸网站建设,威县网站建设费用合理。
熟悉Python数据分析和跟各种数据存储文件打交道的人可能都知道,就算是相同的数据内容,但用Python从不同格式的载体中读取数据的速度是不一样的。为了验证这一结论,我特意测试了一下,分别用Python从Excel,MySQL和CSV中读取数据的效率。
工具:
jupyter notebook(Python),
Navicat(MySQL),
Microsoft Excel 2016
CSV(Excel按F12另存为)
接着进入正题,以下就是我的测试结果:
声明:使用的都是同一份数据源(除去表头,总共有159727条数据)!
① 直接用Python从Excel加载数据(29M),第1次花了48秒,第2次花46.1秒;另外,计算结果只需花费几十到几百毫秒;
处理数据的时间,花了几十到几百毫秒不等:
② 把Excel的数据(29M)导入到Navicat(可以写MySQL语句的一款编辑器)中,花了28.9秒;
处理数据的时间,花了0.134s
③ 用Python直接从MySQL中获取刚才从Excel中导入的数据,第1次花了1.91秒,第2次花了2.01秒,第3次花了1.99秒,第4次花了1.79秒;
处理数据的时间,花了59ms.
④ 用Python读取把刚才29M的Excel,另存为一个32.1M大小的CSV文件(数据内容相同),才试了一次,居然只花了1.3秒(瞬开!惊奇!)
处理数据的时间,花了19ms
到此,关于“Python从不同格式文件中加载数据的速度举例分析”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!
本文名称:Python从不同格式文件中加载数据的速度举例分析
URL链接:http://azwzsj.com/article/iggeoe.html