Go 语言的错误处理机制是一个优秀的设计吗

这个问题说来话长，我先表达一下我的观点，Go语言从语法层面提供区分错误和异常的机制是很好的做法，比自己用单个返回值做值判断要方便很多。

站在用户的角度思考问题，与客户深入沟通，找到丹阳网站设计与丹阳网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：成都网站建设、做网站、企业官网、英文网站、手机端网站、网站推广、域名注册、雅安服务器托管、企业邮箱。业务覆盖丹阳地区。

上面看到很多知乎大牛把异常和错误混在一起说，有认为Go没有异常机制的，有认为Go纯粹只有异常机制的，我觉得这些观点都太片面了。

具体对于错误和异常的讨论，我转发一下前阵子写的一篇日志抛砖引玉吧。

============================

最近连续遇到朋友问我项目里错误和异常管理的事情，之前也多次跟团队强调过错误和异常管理的一些概念，所以趁今天有动力就赶紧写一篇Go语言项目错误和异常管理的经验分享。

首先我们要理清：什么是错误、什么是异常、为什么需要管理。然后才是怎样管理。

错误和异常从语言机制上面讲，就是error和panic的区别，放到别的语言也一样，别的语言没有error类型，但是有错误码之类的，没有panic，但是有throw之类的。

在语言层面它们是两种概念，导致的是两种不同的结果。如果程序遇到错误不处理，那么可能进一步的产生业务上的错误，比如给用户多扣钱了，或者进一步产生了异常；如果程序遇到异常不处理，那么结果就是进程异常退出。

在项目里面是不是应该处理所有的错误情况和捕捉所有的异常呢？我只能说，你可以这么做，但是估计效果不会太好。我的理由是：

如果所有东西都处理和记录，那么重要信息可能被淹没在信息的海洋里。

不应该处理的错误被处理了，很容易导出BUG暴露不出来，直到出现更严重错误的时候才暴露出问题，到时候排查就很困难了，因为已经不是错误的第一现场。

所以错误和异常最好能按一定的规则进行分类和管理，在第一时间能暴露错误和还原现场。

对于错误处理，Erlang有一个很好的概念叫速错，就是有错误第一时间暴露它。我们的项目从Erlang到Go一直是沿用这一设计原则。但是应用这个原则的前提是先得区分错误和异常这两个概念。

错误和异常上面已经提到了，从语言机制层面比较容易区分它们，但是语言取决于人为，什么情况下用错误表达，什么情况下用异常表达，就得有一套规则，否则很容易出现全部靠异常来做错误处理的情况，似乎Java项目特别容易出现这样的设计。

这里我先假想有这样一个业务：游戏玩家通过购买按钮，用铜钱购买宝石。

在实现这个业务的时候，程序逻辑会进一步分化成客户端逻辑和服务端逻辑，客户端逻辑又进一步因为设计方式的不同分化成两种结构：胖客户端结构、瘦客户端结构。

胖客户端结构，有更多的本地数据和懂得更多的业务逻辑，所以在胖客户端结构的应用中，以上的业务会实现成这样：客户端检查缓存中的铜钱数量，铜钱数量足够的时候购买按钮为可用的亮起状态，用户点击购买按钮后客户端发送购买请求到服务端；服务端收到请求后校验用户的铜钱数量，如果铜钱数量不足就抛出异常，终止请求过程并断开客户端的连接，如果铜钱数量足够就进一步完成宝石购买过程，这里不继续描述正常过程。

因为正常的客户端是有一步数据校验的过程的，所以当服务端收到不合理的请求（铜钱不足以购买宝石）时，抛出异常比返回错误更为合理，因为这个请求只可能来自两种客户端：外挂或者有BUG的客户端。如果不通过抛出异常来终止业务过程和断开客户端连接，那么程序的错误就很难被第一时间发现，攻击行为也很难被发现。

我们再回头看瘦客户端结构的设计，瘦客户端不会存有太多状态数据和用户数据也不清楚业务逻辑，所以客户端的设计会是这样：用户点击购买按钮，客户端发送购买请求；服务端收到请求后检查铜钱数量，数量不足就返回数量不足的错误码，数量足够就继续完成业务并返回成功信息；客户端收到服务端的处理结果后，在界面上做出反映。

在这种结构下，铜钱不足就变成了业务逻辑范围内的一种失败情况，但不能提升为异常，否则铜钱不足的用户一点购买按钮都会出错掉线。

所以，异常和错误在不同程序结构下是互相转换的，我们没办法一句话的给所有类型所有结构的程序一个统一的异常和错误分类规则。

但是，异常和错误的分类是有迹可循的。比如上面提到的痩客户端结构，铜钱不足是业务逻辑范围内的一种失败情况，它属于业务错误，再比如程序逻辑上尝试请求某个URL，最多三次，重试三次的过程中请求失败是错误，重试到第三次，失败就被提升为异常了。

所以我们可以这样来归类异常和错误：不会终止程序逻辑运行的归类为错误，会终止程序逻辑运行的归类为异常。

因为错误不会终止逻辑运行，所以错误是逻辑的一部分，比如上面提到的瘦客户端结构，铜钱不足的错误就是业务逻辑处理过程中需要考虑和处理的一个逻辑分支。而异常就是那些不应该出现在业务逻辑中的东西，比如上面提到的胖客户端结构，铜钱不足已经不是业务逻辑需要考虑的一部分了，所以它应该是一个异常。

错误和异常的分类需要通过一定的思维训练来强化分类能力，就类似于面向对象的设计方式一样的，技术实现就摆在那边，但是要用好需要不断的思维训练不断的归类和总结，以上提到的归类方式希望可以作为一个参考，期待大家能发现更多更有效的归类方式。

接下来我们讲一下速错和Go语言里面怎么做到速错。

速错我最早接触是在做的时候就体验到的，当然跟Erlang的速错不完全一致，那时候也没有那么高大上的一个名字，但是对待异常的理念是一样的。

在.NET项目开发的时候，有经验的程序员都应该知道，不能随便re-throw，就是catch错误再抛出，原因是异常的第一现场会被破坏，堆栈跟踪信息会丢失，因为外部最后拿到异常的堆栈跟踪信息，是最后那次throw的异常的堆栈跟踪信息；其次，不能随便try catch，随便catch很容易导出异常暴露不出来，升级为更严重的业务漏洞。

到了Erlang时期，大家学到了速错概念，简单来讲就是：让它挂。只有挂了你才会第一时间知道错误，但是Erlang的挂，只是Erlang进程的异常退出，不会导致整个Erlang节点退出，所以它挂的影响层面比较低。

在Go语言项目中，虽然有类似Erlang进程的Goroutine，但是Goroutine如果panic了，并且没有recover，那么整个Go进程就会异常退出。所以我们在Go语言项目中要应用速错的设计理念，就要对Goroutine做一定的管理。

在我们的游戏服务端项目中，我把Goroutine按挂掉后的结果分为两类：1、挂掉后不影响其他业务或功能的；2、挂掉后业务就无法正常进行的。

第一类Goroutine典型的有：处理各个玩家请求的Goroutine，因为每个玩家连接各自有一个Goroutine，所以挂掉了只会影响单个玩家，不会影响整体业务进行。

第二类Goroutine典型的有：数据库同步用的Goroutine，如果它挂了，数据就无法同步到数据库，游戏如果继续运行下去只会导致数据回档，还不如让整个游戏都异常退出。

这样一分类，就可以比较清楚哪些Goroutine该做recover处理，哪些不该做recover处理了。

那么在做recover处理时，要怎样才能尽量保留第一现场来帮组开发者排查问题原因呢？我们项目中通常是会在最外层的recover中把错误和堆栈跟踪信息记进日志，同时把关键的业务信息，比如：用户ID、来源IP、请求数据等也一起记录进去。

为此，我们还特地设计了一个库，用来格式化输出堆栈跟踪信息和对象信息，项目地址：funny/debug · GitHub

通篇写下来发现比我预期的长很多，所以这里我做一下归纳总结，帮组大家理解这篇文章所要表达的：

错误和异常需要分类和管理，不能一概而论

错误和异常的分类可以以是否终止业务过程作为标准

错误是业务过程的一部分，异常不是

不要随便捕获异常，更不要随便捕获再重新抛出异常

Go语言项目需要把Goroutine分为两类，区别处理异常

在捕获到异常时，需要尽可能的保留第一现场的关键数据

以上仅为一家之言，抛砖引玉，希望对大家有所帮助。

GO语言（十六）：模糊测试入门（上）

本教程介绍了 Go 中模糊测试的基础知识。通过模糊测试，随机数据会针对您的测试运行，以尝试找出漏洞或导致崩溃的输入。可以通过模糊测试发现的一些漏洞示例包括 SQL 注入、缓冲区溢出、拒绝服务和跨站点脚本攻击。

在本教程中，您将为一个简单的函数编写一个模糊测试，运行 go 命令，并调试和修复代码中的问题。

首先，为您要编写的代码创建一个文件夹。

1、打开命令提示符并切换到您的主目录。

在 Linux 或 Mac 上：

在 Windows 上：

2、在命令提示符下，为您的代码创建一个名为 fuzz 的目录。

3、创建一个模块来保存您的代码。

运行go mod init命令，为其提供新代码的模块路径。

接下来，您将添加一些简单的代码来反转字符串，稍后我们将对其进行模糊测试。

在此步骤中，您将添加一个函数来反转字符串。

a.使用您的文本编辑器，在 fuzz 目录中创建一个名为 main.go 的文件。

独立程序（与库相反）始终位于 package 中main。

此函数将接受string，使用byte进行循环 ，并在最后返回反转的字符串。

此函数将运行一些Reverse操作，然后将输出打印到命令行。这有助于查看运行中的代码，并可能有助于调试。

e.该main函数使用 fmt 包，因此您需要导入它。

第一行代码应如下所示：

从包含 main.go 的目录中的命令行，运行代码。

可以看到原来的字符串，反转它的结果，然后再反转它的结果，就相当于原来的了。

现在代码正在运行，是时候测试它了。

在这一步中，您将为Reverse函数编写一个基本的单元测试。

a.使用您的文本编辑器，在 fuzz 目录中创建一个名为 reverse_test.go 的文件。

b.将以下代码粘贴到 reverse_test.go 中。

这个简单的测试将断言列出的输入字符串将被正确反转。

使用运行单元测试go test

接下来，您将单元测试更改为模糊测试。

单元测试有局限性，即每个输入都必须由开发人员添加到测试中。模糊测试的一个好处是它可以为您的代码提供输入，并且可以识别您提出的测试用例没有达到的边缘用例。

在本节中，您将单元测试转换为模糊测试，这样您就可以用更少的工作生成更多的输入！

请注意，您可以将单元测试、基准测试和模糊测试保存在同一个 *_test.go 文件中，但对于本示例，您将单元测试转换为模糊测试。

在您的文本编辑器中，将 reverse_test.go 中的单元测试替换为以下模糊测试。

Fuzzing 也有一些限制。在您的单元测试中，您可以预测Reverse函数的预期输出，并验证实际输出是否满足这些预期。

例如，在测试用例Reverse("Hello, world")中，单元测试将返回指定为"dlrow ,olleH".

模糊测试时，您无法预测预期输出，因为您无法控制输入。

但是，Reverse您可以在模糊测试中验证函数的一些属性。在这个模糊测试中检查的两个属性是：

（1）将字符串反转两次保留原始值

（2）反转的字符串将其状态保留为有效的 UTF-8。

注意单元测试和模糊测试之间的语法差异：

（3）确保新包unicode/utf8已导入。

随着单元测试转换为模糊测试，是时候再次运行测试了。

a.在不进行模糊测试的情况下运行模糊测试，以确保种子输入通过。

如果您在该文件中有其他测试，您也可以运行go test -run=FuzzReverse，并且您只想运行模糊测试。

b.运行FuzzReverse模糊测试，查看是否有任何随机生成的字符串输入会导致失败。这是使用go test新标志-fuzz执行的。

模糊测试时发生故障，导致问题的输入被写入将在下次运行的种子语料库文件中go test，即使没有-fuzz标志也是如此。要查看导致失败的输入，请在文本编辑器中打开写入 testdata/fuzz/FuzzReverse 目录的语料库文件。您的种子语料库文件可能包含不同的字符串，但格式相同。

语料库文件的第一行表示编码版本。以下每一行代表构成语料库条目的每种类型的值。由于 fuzz target 只需要 1 个输入，因此版本之后只有 1 个值。

c.运行没有-fuzz标志的go test； 新的失败种子语料库条目将被使用：

由于我们的测试失败，是时候调试了。

那些自动化扫描神器

刚入行时学习使用AWVS、APPSCAN等WEB漏洞自动化扫描工具，只知道这类工具会先把目标站点的链接全部爬取，再对链接以GET、POST方式进行请求测试。

主动扫描器是直接利用爬虫暴力探测接口，而被动扫描器则是采用获取流量的方式探测接口。

这里简单推荐三款好用的扫描器，详细的用法这里就不过多介绍了。

xray是长亭的一款web自动化漏洞扫描神器，支持主动式、被动式扫描，使用go语言编写，可自定义编写POC。

官方有详细说明，这里-h简略地看一下。

而webscan是xray核心功能，用来发现探测Web漏洞。

1.基础爬虫爬取命令

2. HTTP代理被动扫描命令

burp点击Add 添加上游代理以及作用域。

访问页面，xray会将该接口自动调用poc自动化开始探测。强烈建议使用该方式挖掘web漏洞。

goby是一款自动化检测工具，内置了多个实用性强的poc，扫描速度极快。且有多个扩展程序，如fofa、metasploit等等，我觉得最值得一提的是具有sockst代理功能，且扫描到的资产详细的展示着banner、title、version等信息。

以代理扫描内网为例：

设置socks5代理模式进行内网扫描。

代理扫描的速度比较慢，但至少可以对内网有大致的判断，也方便后续横向内网。

点击资产可获取ip详细的端口、banner、服务、版本以及title。

免费版内置78个poc，红队专用版内置100多个poc。都是针对中间件、框架的漏洞检测。

nuclei是国外的一款快速扫描工具，内置大量的漏洞库。

多一点扫描多一点可能性。

汇总下关于安全的13款必备工具

汇总下关于安全的几款必备工具：

Burp Suite 是用于攻击web 应用程序的集成平台，http协议分析神器，里面包括了不少安全必备的功能，重放、爆破、扫描并且支持自定义脚本，实现自己想要的功能。Burp Suite为这些工具设计了许多接口，以加快攻击应用程序的过程。所有工具都共享一个请求，并能处理对应的HTTP 消息、持久性、认证、代理、日志、警报。

工具下载地址：

工具运行需要Java环境，请自行安装。

Nmap，也就是Network Mapper，最早是Linux下的网络扫描和嗅探工具包，扫描网络情况和端口开放情况，也可以加载nmap内置的poc脚本发现安全漏洞

官网：

nmap是一个网络连接端扫描软件，用来扫描网上电脑开放的网络连接端。确定哪些服务运行在哪些连接端，并且推断计算机运行哪个操作系统（这是亦称 fingerprinting）。它是网络管理员必用的软件之一，以及用以评估网络系统安全。

正如大多数被用于网络安全的工具，nmap 也是不少黑客及骇客（又称脚本小子）爱用的工具 。系统管理员可以利用nmap来探测工作环境中未经批准使用的服务器，但是黑客会利用nmap来搜集目标电脑的网络设定，从而计划攻击的方法。

Nmap 常被跟评估系统漏洞软件Nessus 混为一谈。Nmap 以隐秘的手法，避开闯入检测系统的监视，并尽可能不影响目标系统的日常操作。

这个主要是利用sql注入漏洞的工具，可以自定义扫描规则和方式，若是通读源码之后对sql注入会有相当深的理解

官网：

这个是域名爆破工具，owasp开发的，该工具采用Go语言开发，它可以通过遍历等形式爬取数据源和Web文档，或利用IP地址来搜索相关的网块和ASN，并利用所有收集到的信息来构建目标网络拓扑。速度和发现都相当不错。

项目地址：

官网

ubuntu下安装命令如下：

Masscan，是 robertdavidgraham 在 Github 上开源的端口扫描工具。

Masscan 性能优越，极限速度可以从单机每秒发送1000万个数据包。Masscan 使用了与另一个著名的扫描工具 —— nmap 类似的命令行参数，方便进行上手使用。

Masscan 针对 TCP 端口进行扫描，使用 SYN 扫描的方式，不建立一个完全的 TCP 连接，而是首先发送一个 SYN 数据包到目标端口，然后等待接收。如果接收到 SYN-ACK 包，则说明该端口是开放的，此时发送一个 RST 结束建立过程即可；否则，若目标返回 RST，则端口不开放。 这个用来发现大规模网络下存活的ip和端口还是不错，配合nmap发现服务可快速扫描网络

项目代码位于

安装 Masscan 可以从源码进行编译，在 Debian/Ubuntu 平台上，使用命令：

编译得到的二进制程序位于子文件夹 masscan/bin。由于代码中包含了大量的小文件，可以开启多线程模式进行编译：

Wireshark（前称Ethereal）是一个网络封包分析软件。网络封包分析软件的功能是截取网络封包，并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口，直接与网卡进行数据报文交换。

下载地址

7、metasploit

Metasploit是一款开源的安全漏洞检测工具，可以帮助安全和IT专业人士识别安全性问题，验证漏洞的缓解措施，并管理专家驱动的安全性进行评估，提供真正的安全风险情报。这些功能包括智能开发，代码审计，Web应用程序扫描， 社会 工程。团队合作，在Metasploit和综合报告提出了他们的发现。

下载地址

Cobalt Strike是一款基于java的渗透测试神器，常被业界人称为CS神器。自3.0以后已经不在使用Metasploit框架而作为一个独立的平台使用，分为客户端与服务端，服务端是一个，客户端可以有多个，非常适合团队协同作战，多个攻击者可以同时连接到一个团队服务器上，共享攻击资源与目标信息和sessions，可模拟APT做模拟对抗，进行内网渗透。

Cobalt Strike集成了端口转发、服务扫描，自动化溢出，多模式端口监听，win exe木马生成，win dll木马生成，java木马生成，office宏病毒生成，木马捆绑；钓鱼攻击包括：站点克隆，目标信息获取，java执行，浏览器自动攻击等等。

mimikatz可以从内存中提取明文密码、哈希、PIN 码和 kerberos 票证。 mimikatz 还可以执行哈希传递、票证传递或构建黄金票证。

下载地址

这个是内网端口转发工具，对于无法出网的端口相当好用。有Windows版和Linux版两个版本，Windows版是lcx.exe,Linux版为portmap。

lcx有两大功能：

代理隧道工具，可以让工具走隧道进入内网环境，配合msf中的代理相当好用

github地址

1.建立文件夹proxychains，并进入下载

2.解压缩

3.进入解压缩后的目录进行安装

4.配置环境变量 打开文件.bashrc

将下面一段话考入该文件

使改变生效

有管理员权限 直接执行以下命令

netcat被誉为网络安全界的‘瑞士军刀’，命令用于设置路由器。 一个简单而有用的工具，透过使用TCP或UDP协议的网络连接去读写数据。它被设计成一个稳定的后门工具，能够直接由其它程序和脚本轻松驱动。同时，它也是一个功能强大的网络调试和探测工具，能够建立你需要的几乎所有类型的网络连接，还有几个很有意思的内置功能(详情请看下面的使用方法)。

【没有找到该工具logo，随便找一个凑数】

中国蚁剑是一款开源的跨平台网站管理工具，它主要面向于合法授权的渗透测试安全人员以及进行常规操作的网站管理员。

通俗的讲：中国蚁剑是 一 款比菜刀还牛的shell控制端软件。

唯一官方github下载地址：

嫌弃一个个下载麻烦的同学有福了， 一口君已经下载，并存放在网盘里，

后台回复： 安全工具 即可下载

GO语言（二十九）：模糊测试（下）-

语料库文件以特殊格式编码。这是种子语料库和生成语料库的相同格式。

下面是一个语料库文件的例子：

第一行用于通知模糊引擎文件的编码版本。虽然目前没有计划未来版本的编码格式，但设计必须支持这种可能性。

下面的每一行都是构成语料库条目的值，如果需要，可以直接复制到 Go 代码中。

在上面的示例中，我们在 a []byte后跟一个int64。这些类型必须按顺序与模糊测试参数完全匹配。这些类型的模糊目标如下所示：

指定您自己的种子语料库值的最简单方法是使用该 (*testing.F).Add方法。在上面的示例中，它看起来像这样：

但是，您可能有较大的二进制文件，您不希望将其作为代码复制到您的测试中，而是作为单独的种子语料库条目保留在 testdata/fuzz/{FuzzTestName} 目录中。golang.org/x/tools/cmd/file2fuzz 上的file2fuzz工具可用于将这些二进制文件转换为为[]byte.

要使用此工具：

语料库条目：语料库 中的一个输入，可以在模糊测试时使用。这可以是特殊格式的文件，也可以是对 (*testing.F).Add。

覆盖指导： 一种模糊测试方法，它使用代码覆盖范围的扩展来确定哪些语料库条目值得保留以备将来使用。

失败的输入：失败的输入是一个语料库条目，当针对 模糊目标运行时会导致错误或恐慌。

fuzz target： 模糊测试的目标功能，在模糊测试时对语料库条目和生成的值执行。它通过将函数传递给 (*testing.F).Fuzz实现。

fuzz test： 测试文件中的一个被命名为func FuzzXxx(*testing.F)的函数，可用于模糊测试。

fuzzing： 一种自动化测试，它不断地操纵程序的输入，以发现代码可能容易受到的错误或漏洞等问题。

fuzzing arguments： 将传递给 模糊测试目标的参数，并由mutator进行变异。

fuzzing engine： 一个管理fuzzing的工具，包括维护语料库、调用mutator、识别新的覆盖率和报告失败。

生成的语料库： 由模糊引擎随时间维护的语料库，同时模糊测试以跟踪进度。它存储在$GOCACHE/fuzz 中。这些条目仅在模糊测试时使用。

mutator： 一种在模糊测试时使用的工具，它在将语料库条目传递给模糊目标之前随机操作它们。

package： 同一目录下编译在一起的源文件的集合。

种子语料库： 用户提供的用于模糊测试的语料库，可用于指导模糊引擎。它由 f.Add 在模糊测试中调用提供的语料库条目以及包内 testdata/fuzz/{FuzzTestName} 目录中的文件组成。这些条目默认使用go test运行，无论是否进行模糊测试。

测试文件： 格式为 xxx_test.go 的文件，可能包含测试、基准、示例和模糊测试。

漏洞： 代码中的安全敏感漏洞，可以被攻击者利用。

名称栏目：go语言漏洞检测 go语言安全
本文来源：http://azwzsj.com/article/hghphj.html