go语言实现utf8和ucs2编码转换

二进制包安装的话：如果安装在了默认位置例如/usr/local/go (Windows系统：c:\Go)这个时候可以不需要设置GOROOT，如果改变了安装的这个默认目录，那么就需要设置GOROOT GOROOT的概念有点Go安装目录的意思 GOPATH是一个开发环境目录的意思

成都创新互联，是成都地区的互联网解决方案提供商，用心服务为企业提供网站建设、手机APP定制开发、小程序定制开发、系统按需搭建网站和微信代运营服务。经过数10年的沉淀与积累，沉淀的是技术和服务，让客户少走弯路，踏实做事，诚实做人，用情服务，致力做一个负责任、受尊敬的企业。对客户负责，就是对自己负责，对企业负责。

golang unicode/utf8源码分析

包 utf-8 实现的功能和常量用于文章utf8编码,包含runes和utf8字节序列的转换功能.在unicode中，一个中文占两个字节，utf-8中一个中文占三个字节，golang默认的编码是utf-8编码，因此默认一个中文占三个字节，但是golang中的字符串底层实际上是一个byte数组.

Output:

RuneSelf该值的字节码值为128，在判断是否是常规的ascii码是使用。hicb字节码值为191. FF 的对应的字节码为255。

计算字符串中的rune数量,原理：首先取出字符串的码值，然后判断是不是个小于128的，如果是小于则直接continue.rune个数++.

如果是个十六进制f1.的则是无效字符，直接continue.rune个数++,也就是说一个无效的字符也当成一个字长为1的rune.如果字符的码值在first列表中的值和7按位的结果为其字长，比如上面示例中的 钢 。其字长为三位，第一位的值为 233 .二进制形式为 11101001 ;与7按位与后的值为0.从acceptRanges中取出的结果为{locb, hicb}。也就是标识 ox80 到 0xbf 之间的值。而结果n也就是直接size+3跳过3个字节后，rune个数++。其他函数的处理流程差不多，不再过多叙述。

示例：

ValidString返回值表明参数字符串是否是一个合法的可utf8编码的字符串。

RuneCount返回参数中包含的rune数量,第一个例子中将 utf8.RuneCountInString ,改成该方法调用，返回的结果相同。错误的和短的被当成一个长一字节的rune.单个字符 H 就表示一个长度为1字节的rune.

该函数标识参数是否以一个可编码的rune开头,上面的例子中，因为字符串是以一个ascii码值在0-127内的字符开头，所以在执行

first[p[0]] 时，取到的是 p[0] 是72,在first列表中，127之前的值都相同都为 0xF0 ,十进制标识为240，与7按位与后值为0，所以，直接返回 true .

和FullRune类似，只是参数为字符串形式

GO语言（十六）：模糊测试入门（上）

本教程介绍了 Go 中模糊测试的基础知识。通过模糊测试，随机数据会针对您的测试运行，以尝试找出漏洞或导致崩溃的输入。可以通过模糊测试发现的一些漏洞示例包括 SQL 注入、缓冲区溢出、拒绝服务和跨站点脚本攻击。

在本教程中，您将为一个简单的函数编写一个模糊测试，运行 go 命令，并调试和修复代码中的问题。

首先，为您要编写的代码创建一个文件夹。

1、打开命令提示符并切换到您的主目录。

在 Linux 或 Mac 上：

在 Windows 上：

2、在命令提示符下，为您的代码创建一个名为 fuzz 的目录。

3、创建一个模块来保存您的代码。

运行go mod init命令，为其提供新代码的模块路径。

接下来，您将添加一些简单的代码来反转字符串，稍后我们将对其进行模糊测试。

在此步骤中，您将添加一个函数来反转字符串。

a.使用您的文本编辑器，在 fuzz 目录中创建一个名为 main.go 的文件。

独立程序（与库相反）始终位于 package 中main。

此函数将接受string，使用byte进行循环 ，并在最后返回反转的字符串。

此函数将运行一些Reverse操作，然后将输出打印到命令行。这有助于查看运行中的代码，并可能有助于调试。

e.该main函数使用 fmt 包，因此您需要导入它。

第一行代码应如下所示：

从包含 main.go 的目录中的命令行，运行代码。

可以看到原来的字符串，反转它的结果，然后再反转它的结果，就相当于原来的了。

现在代码正在运行，是时候测试它了。

在这一步中，您将为Reverse函数编写一个基本的单元测试。

a.使用您的文本编辑器，在 fuzz 目录中创建一个名为 reverse_test.go 的文件。

b.将以下代码粘贴到 reverse_test.go 中。

这个简单的测试将断言列出的输入字符串将被正确反转。

使用运行单元测试go test

接下来，您将单元测试更改为模糊测试。

单元测试有局限性，即每个输入都必须由开发人员添加到测试中。模糊测试的一个好处是它可以为您的代码提供输入，并且可以识别您提出的测试用例没有达到的边缘用例。

在本节中，您将单元测试转换为模糊测试，这样您就可以用更少的工作生成更多的输入！

请注意，您可以将单元测试、基准测试和模糊测试保存在同一个 *_test.go 文件中，但对于本示例，您将单元测试转换为模糊测试。

在您的文本编辑器中，将 reverse_test.go 中的单元测试替换为以下模糊测试。

Fuzzing 也有一些限制。在您的单元测试中，您可以预测Reverse函数的预期输出，并验证实际输出是否满足这些预期。

例如，在测试用例Reverse("Hello, world")中，单元测试将返回指定为"dlrow ,olleH".

模糊测试时，您无法预测预期输出，因为您无法控制输入。

但是，Reverse您可以在模糊测试中验证函数的一些属性。在这个模糊测试中检查的两个属性是：

（1）将字符串反转两次保留原始值

（2）反转的字符串将其状态保留为有效的 UTF-8。

注意单元测试和模糊测试之间的语法差异：

（3）确保新包unicode/utf8已导入。

随着单元测试转换为模糊测试，是时候再次运行测试了。

a.在不进行模糊测试的情况下运行模糊测试，以确保种子输入通过。

如果您在该文件中有其他测试，您也可以运行go test -run=FuzzReverse，并且您只想运行模糊测试。

b.运行FuzzReverse模糊测试，查看是否有任何随机生成的字符串输入会导致失败。这是使用go test新标志-fuzz执行的。

模糊测试时发生故障，导致问题的输入被写入将在下次运行的种子语料库文件中go test，即使没有-fuzz标志也是如此。要查看导致失败的输入，请在文本编辑器中打开写入 testdata/fuzz/FuzzReverse 目录的语料库文件。您的种子语料库文件可能包含不同的字符串，但格式相同。

语料库文件的第一行表示编码版本。以下每一行代表构成语料库条目的每种类型的值。由于 fuzz target 只需要 1 个输入，因此版本之后只有 1 个值。

c.运行没有-fuzz标志的go test； 新的失败种子语料库条目将被使用：

由于我们的测试失败，是时候调试了。

分享文章：go语言编码教学,go语言基础教程
本文链接：http://azwzsj.com/article/hdgcpp.html