怎么编写同时在PyTorch和Tensorflow上工作的代码
怎么编写同时在PyTorch和Tensorflow上工作的代码,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
创新互联公司是一家专业提供华州企业网站建设,专注与成都做网站、成都网站设计、成都外贸网站建设、H5高端网站建设、小程序制作等业务。10年已为华州众多企业、政府机构等服务。创新互联专业网站建设公司优惠进行中。
Foolbox是一个构建在EagerPy之上的Python库。该库是用EagerPy而不是NumPy重写的,以实现在PyTorch和TensorFlow中开发,并且只有一个代码库,没有代码重复。Foolbox是一个对机器学习模型进行对抗性攻击的库。
框架无关的重要性
为了解决框架之间的差异,作者探索了句法偏差。在PyTorch的情况下,使用In-place的梯度需要使用**_grad_(),而反向传播是使用backward**()调用的。
然而,TensorFlow提供了一个高级管理器和像tape.gradient这样的函数来查询梯度。即使在句法层面,这两个框架也有很大的不同。例如,对于参数,dim vs axis;对于函数,sum vs reduce_sum。
这就是“EagerPy ”发挥作用的地方。它通过提供一个统一的API来解决PyTorch和TensorFlow之间的差异,该API透明地映射到各种底层框架,而无需计算开销。
“EagerPy允许你编写自动使用PyTorch、TensorFlow、JAX和NumPy的代码。”
研究人员写道,EagerPy专注于Eager执行,此外,它的方法是透明的,用户可以将与框架无关的EagerPy代码与特定于框架的代码结合起来。
TensorFlow引入的eager执行模块和PyTorch的相似特性使eager执行成为主流,框架更加相似。然而,尽管PyTorch和TensorFlow2之间有这些相似之处,但编写框架无关的代码并不简单。在语法层面,这些框架中用于自动微分的api是不同的。
自动微分是指用算法求解微分方程。它的工作原理是链式规则,也就是说,求解函数的导数可以归结为基本的数学运算(加、减、乘、除)。这些算术运算可以用图形格式表示。EagerPy特别使用了一种函数式的方法来自动区分。
下面是一段来自文档的代码片段:
import eagerpy as ep x = ep.astensor(x) def loss_fn(x): #这个函数接受并返回一个eager张量 return x.square().sum() print(loss_fn(x)) # PyTorchTensor(tensor(14.)) print(ep.value_and_grad(loss_fn, x))
首先定义第一个函数,然后根据其输入进行微分。然后传递给ep.value_and_grad来得到函数的值及其梯度。
此外,norm函数现在可以与PyTorch、TensorFlow、JAX和NumPy中的原生张量和数组一起使用,与本机代码相比几乎没有任何开销。它也适用于GPU张量。
import torch norm(torch.tensor([1., 2., 3.])) import tensorflow as tf norm(tf.constant([1., 2., 3.]))
总之,EagerPy 旨在提供以下功能:
为快速执行提供统一的API
维护框架的本机性能
完全可链接的API
全面的类型检查支持
研究人员声称,这些属性使得使用这些属性比底层框架特定的api更容易、更安全。尽管有这些变化和改进,但EagerPy 背后的团队还是确保了eagerpy API遵循了NumPy、PyTorch和JAX设置的标准。
入门EagerPy:
使用pip从PyPI安装最新版本:
python3 -m pip install eagerpy
import eagerpy as ep def norm(x): x = ep.astensor(x) result = x.square().sum().sqrt() return result.raw
关于怎么编写同时在PyTorch和Tensorflow上工作的代码问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注创新互联行业资讯频道了解更多相关知识。
网页名称:怎么编写同时在PyTorch和Tensorflow上工作的代码
转载来于:http://azwzsj.com/article/psieps.html