Golang net/http 爬虫[1]

上周从零学习了golang，语法简单关键字少，写个爬虫熟悉一下语法结构。

10年积累的成都网站建设、网站建设经验，可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你，你也不认识我。但先做网站后付款的网站建设流程，更有雨花台免费网站建设让你可以放心的选择与我们合作。

首先选用了原生的net/http包，基本上涵盖了所有的get/post请求，各种参数都可以设置，网上google到html页面解析goquery神器，很轻松就可以解决页面解析问题。

首先就写了个爬取汇率的爬虫。然后重写之前php的一个请求类，请求类的逻辑有点混乱不清晰，往往把两个不同的功能合并到一起写，粒度大，后来发现了一个好用的框架——colly，之后再试试好不好用

Windows 10 Golang

依赖包：goquery

较常用的方法有Find和Each

爬取中国银行的汇率牌价表，golang依赖net/http包和goquery包

唯一的难点是对于goquery方法的使用，需要阅读官方文档：

使用原生的net/http包基本上可以解决大多数的网页请求，使用goquery可以解决页面解析问题

可以利用golang的协程特性进行异步多协程爬取

增加安全性可以通过几个方面进行改进：

1.首先可以限制爬虫的爬取速度

2.每次对网页的请求都随机选用一个客户端

3.选用IP代理池，防止IP误封（及限制ip访问次数）

构造请求代理ip网站的链接→获取网页内容→ 提取网页中IP地址和端口号→验证IP的有效性并存储

轻量级反爬虫方案

浅谈JSP

golang带json的Http请求

Get/Post

HTTP请求中的Form Data和Request Payload的区别

HTTP Json请求

net/http：

golang HTTP操作

python建立爬虫代理ip池

爬虫黑科技之让你的爬虫程序更像人类用户的行为

特点：事件监听，通过callback执行事件处理

基于colly开发的web管理界面

「测试开发全栈化-Go」(1) Go语言基本了解

作为一个测试，作为一个测试开发， 全栈化+管理 是我们未来的发展方向。已经掌握了Java、Python、HTML的你，是不是也想了解下最近异常火爆的Go语言呢？来吧，让我们一起了解下。

Go 是一个开源的编程语言 ，它能让构造简单、可靠且高效的软件变得容易。

Go是从2007年末由Robert Griesemer, Rob Pike, Ken Thompson主持开发，后来还加入了Ian Lance Taylor, Russ Cox等人，并最终于2009年11月开源，在2012年早些时候发布了Go 1稳定版本。现在Go的开发已经是完全开放的，并且拥有一个活跃的社区。这三个人都是计算机界的大神，有的参与了C语言的编写，有的还是数学大神，有的还获得了计算机最高荣誉-图灵奖。

接下来说说 Go语言的特色 :

简洁、快速、安全

并行、有趣、开源

内存管理、数组安全、编译迅速

Go语言的用途 :

Go 语言被设计成一门应用于搭载 Web 服务器，存储集群或类似用途的巨型中央服务器的系统编程语言。

对于高性能分布式系统领域而言，Go 语言无疑比大多数其它语言有着更高的开发效率。它提供了海量并行的支持，这对于 游戏 服务端的开发而言是再好不过了。

Go语言的环境安装:

建议直接打开 官方地址因为墙的原因打不开

因为我用的是windows系统，这里主要讲下Windows系统上使用Go语言来编程。

Windows 下可以使用 .msi 后缀(在下载列表中可以找到该文件，如go1.17.2.windows-amd64.msi)的安装包来安装。

默认情况下 .msi 文件会安装在 c:Go 目录下。你可以将 c:Gobin 目录添加到 Path 环境变量中。添加后你需要重启命令窗口才能生效。个人建议还是安装到 Program Files文件夹中。

使用什么开发工具来对Go语言进行编写:

个人建议用VS code, 也可以用Sublime Text来编辑。如果你之前看了我讲的HTML语言的学习，肯定已经下载了VS code. 那么这时你需要在VS code中下载Go语言的扩展插件。

这里有一个巨大的坑，就是在下载Go的插件和依赖包时，会提示一些包没有。主要是因为下载的依赖包部分被墙了，只能想别的办法去下载。

建议参考网页:

解决vscode中golang插件安装失败方法

在学习go的过程中，使用的是vscode，但是一直提示安装相关插件失败，然后上网查方法，基本上是叫你建立golang.org目录什么的，结果全是错的，而且都是抄袭，很烦。无意之中看到一位博主分享的方法，他也是饱受上述的垃圾博文困扰，然后找到了解决方法，这里向他致敬，秉着让更多人看到正确解决方法的心，我写下正确的解决方法，希望对你有所帮助，也可以点开原博主链接参考：

Go有一个全球模块代理，设置代理再去安装golang的插件，就可以安装成功了。步骤有，首先Windows用户打开Powershell，一个蓝色的界面，注意不是cmd！不知道的直接打开window下面的搜索，然后输入powershell，搜索出来就可以了。

$env:GO111MODULE=“on”

$env:GOPROXY=“”

go env -w GOPROXY=

go env -w GOPRIVATE=*.corp.example.com

然后我们打开VsCode界面，下面会提示安装插件，我们选择Install ALL，就会安装成功

当你在运行Go语言程序时，提示所有的插件包都已经安装成功了时，就可以正常使用了，要不然一堆报错会让你非常心烦。

好了，今天先到这里，晚安、下班~

GO语言（二十七）：管理依赖项（下）-

当您对外部模块的存储库进行了 fork （例如修复模块代码中的问题或添加功能）时，您可以让 Go 工具将您的 fork 用于模块的源代码。这对于测试您自己的代码的更改很有用。

为此，您可以使用go.mod 文件中的replace指令将外部模块的原始模块路径替换为存储库中 fork 的路径。这指示 Go 工具在编译时使用替换路径（fork 的位置），例如，同时允许您保留import 原始模块路径中的语句不变。

在以下 go.mod 文件示例中，当前模块需要外部模块example.com/theirmodule。然后该replace指令将原始模块路径替换为example.com/myfork/theirmodule模块自己的存储库的分支。

设置require/replace对时，使用 Go 工具命令确保文件描述的需求保持一致。使用go list命令获取当前模块正在使用的版本。然后使用go mod edit命令将需要的模块替换为fork：

注意： 当您使用该replace指令时，Go 工具不会像添加依赖项中所述对外部模块进行身份验证。

您可以使用go get命令从其存储库中的特定提交为模块添加未发布的代码。

为此，您使用go get命令，用符号@指定您想要的代码 。当您使用go get时，该命令将向您的 go.mod 文件添加一个 需要外部模块的require指令，使用基于有关提交的详细信息的伪版本号。

以下示例提供了一些说明。这些基于源位于 git 存储库中的模块。

当您的代码不再使用模块中的任何包时，您可以停止将该模块作为依赖项进行跟踪。

要停止跟踪所有未使用的模块，请运行go mod tidy 命令。此命令还可能添加在模块中构建包所需的缺失依赖项。

要删除特定依赖项，请使用go get，指定模块的模块路径并附加 @none，如下例所示：

go get命令还将降级或删除依赖于已删除模块的其他依赖项。

当您使用 Go 工具处理模块时，这些工具默认从 proxy.golang.org（一个公共的 Google 运行的模块镜像）或直接从模块的存储库下载模块。您可以指定 Go 工具应该使用另一个代理服务器来下载和验证模块。

如果您（或您的团队）已经设置或选择了您想要使用的不同模块代理服务器，您可能想要这样做。例如，有些人设置了模块代理服务器，以便更好地控制依赖项的使用方式。

要为 Go 工具指定另一个模块代理服务器，请将GOPROXY 环境变量设置为一个或多个服务器的 URL。Go 工具将按照您指定的顺序尝试每个 URL。默认情况下，GOPROXY首先指定一个公共的 Google 运行模块代理，然后从模块的存储库直接下载（在其模块路径中指定）：

您可以将变量设置为其他模块代理服务器的 URL，用逗号或管道分隔 URL。

Go 模块经常在公共互联网上不可用的版本控制服务器和模块代理上开发和分发。您可以设置 GOPRIVATE环境变量。您可以设置GOPRIVATE环境变量来配置go命令以从私有源下载和构建模块。然后 go 命令可以从私有源下载和构建模块。

GOPRIVATE或环境变量可以设置为匹配模块前缀的全局模式列表，这些GONOPROXY前缀是私有的，不应从任何代理请求。例如：

Go语言版本控制及包依赖管理

这个文件通过路径标识 rsc.io/hello 定义了一个模块，它本身还依赖于两个其他模块：golang.org/x/text 和 rsc.io/quote ，这个模块自身编译的时候使用的是 go.mod 文件中指定的依赖列表的版本。对于更上一层的编译，其他导入这个模块的地方将使用它较新的版本编译。

包发布者最好使用语义化的 tag 发布版本，vgo 也鼓励通过打tag的版本号方式，而不是任意的提交版本。

4.1 Go语言中包(Packages)基础知识

先看一下目录结构，注意这里的src名称是必须的，go在设置了GOPATH后，默认会添加src去寻找package，暂未查询是否有方法不按照src查询

根据上面的描述，Go语言中通过包中函数的名称来区分公共函数和私有函数，我们在main函数中是无法调用myPrivateFunc的

此时如果执行通过go run方式执行，会看到如下的提示信息，这与大部分语言对于包管理方式相关，所以我们通过两种不同的方法来让代码执行起来

返回如下，这里面对我们后续执行有影响的两个参数GO111MODULE和GOPATH

如果要使用gopath模式引用包，则需要关闭mod模式

设置GOPATH为当前路径，即main.go所在的路径

此时再查看go env时，GOPATH已经发生改变

我们再次尝试执行代码

可以看到public函数被调用

当前名称：go语言依赖包,go语言依赖管理
网页路径：http://azwzsj.com/article/hoiejs.html