Go语言核心之美 3.5-JSON
2016-04-05 13:04
507 查看
JSON(JavaScript Object Notation)是一种发送和接收结构化信息的标准化表示法。类似的标准化协议还有XML、ASN.1、Protobuf、Thrift等等,这些协议都有自己的鲜明特色,但是由于JSON的简洁、可读、流行性,因此它是应用最广泛的协议之一。 Go语言对上述协议的编码和解码都有很好的支持,例如标准库中的encoding/json、encoding/xml、encoding/asn1以及第三方库github.com/golang/protobuf,这些包提供的API接口都是很相似的。在本节中,我们将对encoding/json包进行讲解。 JSON用来对JavaScript的各种类型值-字符串、数字、布尔值及对象-进行Unicode文本编码。它可以对Go语言的类型进行编码:例如上一章的基本类型、slice、struct、map,而且编码后的可读性是非常好的。 基本的JSON类型有 数字类型、布尔值、字符串,其中字符串是双引号包含的Unicode字符序列并支持字符串转义。但是JSON使用\Uhhhh表示一个UTF-16编码的字符,而在Go语言中,是用rune来表示(int32,详细介绍见string一节)。 JSON的数组、对象类型是由这些基本类型组合而来的,一个JSON数组就是一个值序列,用方括号包围,值与值之间用逗号分隔,JSON数组可以用来编码Go语言中的数组和slice。一个JSON对象就是key:value键值对组成的序列,用花括号包围,键值对之间用逗号分隔,JSON对象可以用来编码Go中的map和struct。例如:
boolean true number -273.15 string "She said \"Hello, BF\"" array ["gold", "silver", "bronze"] object {"year": 1980, "event": "archery", "medals": ["gold", "silver", "bronze"]}考虑一个收集电影信息并提供电影推荐的应用程序,它声明了一个Movie类型,然后初始化了一个Movie列表:gopl.io/ch4/movie
type Movie struct { Title string Year int `json:"released"` Color bool `json:"color,omitempty"` Actors []string } var movies = []Movie{ {Title: "Casablanca", Year: 1942, Color: false, Actors: []string{"Humphrey Bogart", "Ingrid Bergman"}}, {Title: "Cool Hand Luke", Year: 1967, Color: true, Actors: []string{"Paul Newman"}}, {Title: "Bullitt", Year: 1968, Color: true, Actors: []string{"Steve McQueen", "Jacqueline Bisset"}}, // ... }这样的数据结构跟JSON的契合度会非常好,而且相互之间的转换也很容易。将Go语言中的数据结构转为JSON叫做marshal,可以通过json.Marshal函数来完成:
data, err := json.Marshal(movies) if err != nil { log.Fatalf("JSON marshaling failed: %s", err) } fmt.Printf("%s\n", data)Marshal函数返回的JSON字符串是没有空白字符和缩进的,下面为了方便对JSON字符串进行折行显示:
[{"Title":"Casablanca","released":1942,"Actors":["Humphrey Bogart","Ingr id Bergman"]},{"Title":"Cool Hand Luke","released":1967,"color":true,"Ac tors":["Paul Newman"]},{"Title":"Bullitt","released":1968,"color":true," Actors":["Steve McQueen","Jacqueline Bisset"]}]这种紧凑的表示形式是最常用的传输形式,但是不好阅读。如果需要为前端生成便于阅读的格式,可以调json.MarshaIndent,该函数有两个参数表示每一行的前缀和缩进方式:
data, err := json.MarshalIndent(movies, "", " ") if err != nil { log.Fatalf("JSON marshaling failed: %s", err) } fmt.Printf("%s\n", data)输出如下(JSON的表示和Go语言有一个很大的区别,在最后一个成员后面没有逗号!!):
[ { "Title": "Casablanca", "released": 1942, "Actors": [ "Humphrey Bogart", "Ingrid Bergman" ] }, { "Title": "Cool Hand Luke", "released": 1967, "color": true, "Actors": [ "Paul Newman" ] }, { "Title": "Bullitt", "released": 1968, "color": true, "Actors": [ "Steve McQueen", "Jacqueline Bisset" ] } ]在JSON编码中,默认使用struct的字段名做为JSON的对象(通过reflect技术),只有导出的字段才会被编码,这也是我们为什么使用大写字母开头的字段。 细心的读者应该已经发现:Year字段在编码后变为released,Color变为color,这个就是因为之前提到的Tag。一个struct字段的Tag是该字段的元数据:
Year int `json:"released"` Color bool `json:"color,omitempty"`Tag可以是任意的字符串,但是通常是用空格分割的key:value键值对序列,因为Tag中包含了双引号字符串,因此一般用原生字符串形式书写(见string一节)。键值对中的key为json时,对应的value值用于控制encoding/json包的编码、解码行为,并且encoding/...下面的其它包也遵循这个约定,value值的第一部分用于指定JSON对象的名字,例如将Color字段指定为color。同时Color的Tag还带了一个额外的omitempty选项,表示当Color为空或者零值时不生成JSON对象。所以,Casablanca是一部黑白电影,并没有生成color对象。 编码的逆向操作是解码,就是将JSON数据转为Go的数据结构,一般称为unmarshal,通过json.Unmarchal函数完成。下面的代码将JSON格式的电影数据解码为一个struct组成的slice,其中struct中只含有Title字段。通过定义合适的数据结构,我们可以选择性的解码JSON数据中需要的字段。当Unmarsha函数返回时,slice中包含的struct将只有Title字段,其它的JSON成员将被忽略。
var titles []struct{ Title string } if err := json.Unmarshal(data, &titles); err != nil { log.Fatalf("JSON unmarshaling failed: %s", err) } fmt.Println(titles) // "[{Casablanca} {Cool Hand Luke} {Bullitt}]"很多web服务都提供了JSON格式的接口,可以通过HTTP发送JSON请求然后返回JSON格式的数据。下面,我们将通过Github的issue查询服务来演示这种用法。首先,定义合适的类型和常量:gopl.io/ch4/github
// Package github provides a Go API for the GitHub issue tracker. // See https://developer.github.com/v3/search/#search-issues. package github import "time" const IssuesURL = "https://api.github.com/search/issues" type IssuesSearchResult struct { TotalCount int `json:"total_count"` Items []*Issue } type Issue struct { Number int HTMLURL string `json:"html_url"` Title string State string User *User CreatedAt time.Time `json:"created_at"` Body string // in Markdown format } type User struct { Login string HTMLURL string `json:"html_url"` }和前面一样,即使对应的JSON对象的首字母是小写的,struct的字段名也应该是首字母大写的。这些外部传入的JSON对象中,名字可能包含下划线,也可能不区分大小写,但是Go里需要大写字母开头,因此也需要用Tag来进行解码。同时,我们在这里是进行选择性的接收,因为Github返回的响应信息比我们定义的要更多。 SearchIssues函数会发起一个HTTP请求,然后解码返回的JSON数据。因为用户提供的查询条件可能包含?和&等特殊字符,为了避免URL解析问题,我用url.QueryEscape来对这些特殊字符进行转义:gopl.io/ch4/github
package github import ( "encoding/json" "fmt" "net/http" "net/url" "strings" ) // SearchIssues queries the GitHub issue tracker. func SearchIssues(terms []string) (*IssuesSearchResult, error) { q := url.QueryEscape(strings.Join(terms, " ")) resp, err := http.Get(IssuesURL + "?q=" + q) if err != nil { return nil, err } // We must close resp.Body on all execution paths. // (Chapter 5 presents 'defer', which makes this simpler.) if resp.StatusCode != http.StatusOK { resp.Body.Close() return nil, fmt.Errorf("search query failed: %s", resp.Status) } var result IssuesSearchResult if err := json.NewDecoder(resp.Body).Decode(&result); err != nil { resp.Body.Close() return nil, err } resp.Body.Close() return &result, nil }在之前的例子中,我们使用json.Unmarshal将完整的JSON字符串一次性解码为byte slice。但是这个例子中,我们使用了基于流式的解码器json.Decoder,它可以从一个输入流解码JSON数据(多次解码),当然还有一个针对输出流的json.Encoder函数。 Decode函数可以生成result,这里有多种方式可以格式化显示result。下面是最简单的一种:使用固定列数的表格,在下一节中我们将看到如何利用Go语言的标准template包来输出复杂的格式:gopl.io/ch4/issues
// Issues prints a table of GitHub issues matching the search terms. package main import ( "fmt" "log" "os" "gopl.io/ch4/github" ) func main() { result, err := github.SearchIssues(os.Args[1:]) if err != nil { log.Fatal(err) } fmt.Printf("%d issues:\n", result.TotalCount) for _, item := range result.Items { fmt.Printf("#%-5d %9.9s %.55s\n", item.Number, item.User.Login, item.Title) } }我们的代码可以通过命令行参数指定查询条件,下面的命令会查询golang/go仓库下和json解码相关的issue BUG列表。
$ go build gopl.io/ch4/issues $ ./issues repo:golang/go is:open json decoder 13 issues: #5680 eaigner encoding/json: set key converter on en/decoder #6050 gopherbot encoding/json: provide tokenizer #8658 gopherbot encoding/json: use bufio #8462 kortschak encoding/json: UnmarshalText confuses json.Unmarshal #5901 rsc encoding/json: allow override type marshaling #9812 klauspost encoding/json: string tag not symmetric #7872 extempora encoding/json: Encoder internally buffers full output #9650 cespare encoding/json: Decoding gives errPhase when unmarshalin #6716 gopherbot encoding/json: include field name in unmarshal error me #6901 lukescott encoding/json, encoding/xml: option to treat unknown fi #6384 joeshaw encoding/json: encode precise floating point integers u #6647 btracey x/tools/cmd/godoc: display type kind of each named type #4237 gjemiller encoding/base64: URLEncoding padding is optional读者可以自己尝试一下,同时Github的web接口https://developer.github.com/v3/包含了比这里演示的更多的特性。练习 4.10: 修改issues程序,根据问题的时间进行分类,比如不到一个月的、不到一年的、超过一年。练习 4.11: 编写一个工具,允许用户在命令行创建、读取、更新和关闭GitHub上的issue,当必要的时候自动打开用户默认的编辑器用于输入文本信息。练习 4.12: 流行的web漫画服务xkcd也提供了JSON接口。例如,一个 https://xkcd.com/571/info.0.json请求将返回一个很多人喜爱的571编号的详细描述。下载每个链接(只下载一次)然后创建一个离线索引。编写一个xkcd工具,使用这些离线索引,打印和命令行输入的检索词相匹配的漫画的URL。练习 4.13: 使用开放电影数据库的JSON服务接口,允许你检索和下载 https://omdbapi.com/ 上电影的名字和对应的海报图像。编写一个poster工具,通过命令行输入的电影名字,下载对应的海报。
相关文章推荐
- SQLSERVER 中GO的作用详解
- Go语言入门教程之Arrays、Slices、Maps、Range操作简明总结
- 在Go语言程序中使用gojson来解析JSON格式文件
- 举例详解Go语言中os库的常用函数用法
- Go语言中函数的参数传递与调用的基本方法
- GO语言异常处理机制panic和recover分析
- 深入解析Go语言的io.ioutil标准库使用
- GO语言的IO方法实例小结
- Go语言的os包中常用函数初步归纳
- go语言执行windows下命令行的方法
- Go语言计算两个经度和纬度之间距离的方法
- Go语言排序与接口实例分析
- Go语言导出内容到Excel的方法
- go语言实现sqrt的方法
- Go语言中数组的基本用法演示
- Go语言MessageBox用法实例
- Go语言判断指定文件是否存在的方法
- go语言制作的zip压缩程序
- go语言channel实现多核并行化运行的方法
- Go语言MD5加密用法实例