大数据开发中itertools.chain()函数怎么用
这篇文章主要介绍了大数据开发中itertools.chain()函数怎么用,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
创新互联公司是专业的红花岗网站建设公司,红花岗接单;提供网站设计、成都网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行红花岗网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!
你想在多个对象执行相同的操作,但是这些对象在不同的容器中,你希望代码在不失可读性的情况下避免写重复的循环
from itertools import chain a = [1, 2, 3, 4] b = ['x', 'y', 'z'] for x in chain(a, b): print(x) 1 2 3 4 x y z
好处:如果采用a+b的方式遍历,那么要求a和b的类型一致,如果数据再大一点会,会消耗内存,而chain是通过创建迭代器,依次返回可迭代对象的元素
如何把一个 itertools.chain 对象转换为一个数组
list_of_numbers = [[1, 2], [3], []] import itertools chain = itertools.chain(*list_of_numbers)
第一种比较简单,直接采用 list 方法,如下所示:
list(chain)
但缺点有两个:
会在外层多嵌套一个列表
效率并不高
第二个就是利用 numpy 库的方法 np.fromiter ,示例如下:
>>> import numpy as np >>> from itertools import chain >>> list_of_numbers = [[1, 2], [3], []] >>> np.fromiter(chain(*list_of_numbers), dtype=int) array([1, 2, 3])
对比两种方法的运算时间,如下所示:
>>> list_of_numbers = [[1, 2]*1000, [3]*1000, []]*1000 >>> np.fromiter(chain(*list_of_numbers), dtype=int) 10 loops, best of 3: 103 ms per loop >>> np.array(list(chain(*list_of_numbers))) 1 loops, best of 3: 199 ms per loop
可以看到采用 numpy 方法的运算速度会更快。
感谢你能够认真阅读完这篇文章,希望小编分享的“大数据开发中itertools.chain()函数怎么用”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,更多相关知识等着你来学习!
网站标题:大数据开发中itertools.chain()函数怎么用
链接地址:http://azwzsj.com/article/ipjpsg.html