go语言实战向导

使用go语言做后台服务已经有3年了，通过项目去检验一个又一个的想法，然后不断总结，优化，最终形成了自己的一整套体系，小到一个打印对象的方法，大到一个web后台项目最佳实践指导，这一点一滴都是在不断的实践中进化开来。以下内容将是一次整体的汇报，各位看官如有兴致，请移步GitHub 关注最新的代码变更。

wsp (go http webserver)

实现初衷

• 简单可依赖，充分利用go已有的东西，不另外增加复杂、难以理解的东西，这样做的好处包括：更容易跟随go的升级而升级，降低使用者学习成本
• yii提供的controller/action的路由方式比较常用，在wsp里实现一套
• java annotation的功能挺方便，在wsp里，通过注释来实现过滤器方法的调用定义
• 不能因为wsp的引入而降低原生go http webserver的性能

使用场景

• 以http webserver方式对外提供服务
• 后台接口服务

使用案例

大型互联网社交业务

实现方式

路由自动生成，按要求提供controller/action的实现代码，wsp执行后会分析项目代码，自动生成路由表并记录在文件demo/WSP.go里，controller/action定义代码必须符合函数定义：func(http.ResponseWriter, *http.Request)，并且是带receiver的methoddemo_set.go

package controllerimport (    "net/http"    "github.com/simplejia/wsp/demo/service")// @prefilter("Login", {"Method":{"type":"get"}})// @postfilter("Boss")func (demo *Demo) Set(w http.ResponseWriter, r *http.Request) {    key := r.FormValue("key")    value := r.FormValue("value")    demoService := service.NewDemo()    demoService.Set(key, value)    json.NewEncoder(w).Encode(map[string]interface{}{        "code": 0,    })}

WSP.go

// generated by wsp, DO NOT EDIT.package mainimport "net/http"import "time"import "github.com/simplejia/wsp/demo/controller"import "github.com/simplejia/wsp/demo/filter"func init() {    http.HandleFunc("/Demo/Get", func(w http.ResponseWriter, r *http.Request) {        t := time.Now()        _ = t        var e interface{}        c := new(controller.Demo)        defer func() {            e = recover()            if ok := filter.Boss(w, r, map[string]interface{}{"__T__": t, "__C__": c, "__E__": e}); !ok {                return            }        }()        c.Get(w, r)    })    http.HandleFunc("/Demo/Set", func(w http.ResponseWriter, r *http.Request) {        t := time.Now()        _ = t        var e interface{}        c := new(controller.Demo)        defer func() {            e = recover()            if ok := filter.Boss(w, r, map[string]interface{}{"__T__": t, "__C__": c, "__E__": e}); !ok {                return            }        }()        if ok := filter.Login(w, r, map[string]interface{}{"__T__": t, "__C__": c, "__E__": e}); !ok {            return        }        if ok := filter.Method(w, r, map[string]interface{}{"type": "get", "__T__": t, "__C__": c, "__E__": e}); !ok {            return        }        c.Set(w, r)    })}

• wsp分析项目代码，寻找符合要求的注释（见demo/controller/demo_set.go），自动生成过滤器调用代码在文件demo/WSP.go里，filter注解分为前置过滤器(prefilter）和后置过滤器（postfilter），格式如：@prefilter({json body})，{json body}代表传入参数，符合json array定义格式（去掉前后的中括号），可以包含string值或者object值，filter函数定义满足：func (http.ResponseWriter, *http.Request, map[string]interface{}) bool，过滤器函数如下： method.go

package filterimport (    "net/http"    "strings")func Method(w http.ResponseWriter, r *http.Request, p map[string]interface{}) bool {    method, ok := p["type"].(string)    if ok && strings.ToLower(r.Method) != strings.ToLower(method) {        http.Error(w, "405 Method Not Allowed", http.StatusMethodNotAllowed)        return false    }    return true}

filter输入参数map[string]interface{}，会自动设置"T"，time.Time类型，值为执行起始时间，可用于耗时统计，"C"，{Controller}类型，值为{Controller}实例，可通过接口方式存取相关数据（这种方式存取数据较context方式更简单实用），"E"，值为recover()返回值，用于检测错误并处理（后置过滤器必须recover()）

• 项目main.go代码示例 main.go

package mainimport (    "log"    "github.com/simplejia/clog"    "github.com/simplejia/lc"    "net/http"    _ "github.com/simplejia/wsp/demo/clog"    _ "github.com/simplejia/wsp/demo/conf"    _ "github.com/simplejia/wsp/demo/mysql"    _ "github.com/simplejia/wsp/demo/redis")func init() {    lc.Init(1e5)    http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {        http.NotFound(w, r)    })}func main() {    clog.Info("main()")    log.Panic(http.ListenAndServe(":8080", nil))}

miscellaneous

• 通过wrk压测工具在同样环境下（8核，8g），wsp空跑qps：9万，beego1.7.1空跑qps：5.5万
• 更方便加入middleware（func(http.Handler) http.Handler），其实更推荐通过定义过滤器的方式支持类似功能
• 更方便编写如下的测试用例：
  test （测试用例运行时需要用到项目配置文件，所以请在test目录生成../clog,../conf,../mysql,../redis的软链接）

demo

提供一个简单易扩展的项目stub

实现初衷

• 简单可依赖，充分利用go已有的东西，不另外增加复杂、难以理解的东西，这样做的好处包括：更容易跟随go的升级而升级，降低使用者学习成本
• 提供常用组件的简单包装，如下：
  • config，提供项目主配置文件自动解析，见conf
  • redis，使用(github.com/garyburd/redigo)，提供配置文件自动解析，见redis
  • mysql，使用(database/sql)，提供配置文件自动解析，见mysql，同时为了方便对象映射，提供了最常用的orm组件供选择使用，见orm

项目编写指导意见

• 目录结构：

├── WSP.go├── clog│   └── clog.go├── conf│   ├── conf.go│   └── conf.json├── controller│   ├── base.go│   ├── demo.go│   ├── demo_get.go│   └── demo_set.go├── demo├── filter│   ├── boss.go│   ├── login.go│   └── method.go├── main.go├── model│   ├── demo.go│   ├── demo_get.go│   └── demo_set.go├── mysql│   ├── demo_db.json│   └── mysql.go├── redis│   ├── demo.json│   └── redis.go├── service│   ├── demo.go│   ├── demo_get.go│   └── demo_set.go└── test    ├── clog -> ../clog    ├── conf -> ../conf    ├── demo_get_test.go    ├── demo_set_test.go    ├── init_test.go    ├── mysql -> ../mysql    └── redis -> ../redis

• controller目录：负责request参数解析，service调用
• service目录：负责逻辑处理，model调用
• model目录：负责数据处理

接口实现上，建议一个接口对应一个文件，如controller/demo_get.go, service/demo_get.go, model/demo_get.go

lc (local cache)

实现初衷

• 纯用redis做缓存，相比lc，redis有网络调用开销，反复调用多次，延时急剧增大，当网络偶尔出现故障时，我们的数据接口也就拿不到数据，但lc里的数据就算是超过了设置的过期时间，我们一样能拿到过期的数据做备用
• 使用mysql，当缓存失效，有数据穿透的风险，lc自带并发控制，有且只允许同一时间同一个key的唯一一个client穿透到数据库，其它直接返回lc缓存数据

特性

• 本地缓存
• 支持Get，Set，Mget，Delete操作
• 当缓存失效时，返回失效标志同时，还返回旧的数据，如：v, ok := lc.Get(key)，当key已经过了失效时间了，并且key还没有被lru淘汰掉，v是之前存的值，ok返回false
• 实现代码没有用到锁
• 使用到lru，淘汰长期不用的key
• 结合lm使用更简单快捷

demo

lc_test.go

package lcimport (    "testing"    "time")func init() {    Init(65536) // 使用lc之前必须要初始化}func TestGetValid(t *testing.T) {    key := "k"    value := "v"    Set(key, value, time.Second)    time.Sleep(time.Millisecond * 10) // 给异步处理留点时间    v, ok := Get(key)    if !ok || v != value {        t.Fatal("")    }}

lm (lc+redis+[mysql|http] glue)

实现初衷

写redis+mysql代码时（还可能加上lc），示意代码如下：

func orig(key string) (value string) {    value = redis.Get(key)    if value != "" {        return    }    value = mysql.Get(key)    redis.Set(key, value)    return}// 如果再加上lc的话func orig(key string) (value string) {    value = lc.Get(key)    if value != "" {        return    }    value = redis.Get(key)    if value != "" {        lc.Set(key, value)        return    }    value = mysql.Get(key)    redis.Set(key, value)    lc.Set(key, value)    return}

有了lm，再写上面的代码时，一切变的那么简单 lm_test.go

func tGlue(key, value string) (err error) {    err = Glue(        key,        &value,        func(p, r interface{}) error {            _r := r.(*string)            *_r = "test value"            return nil        },        func(p interface{}) string {            return fmt.Sprintf("tGlue:%v", p)        },        &LcStru{            Expire: time.Millisecond * 500,            Safety: false,        },        &McStru{            Expire: time.Minute,            Pool: pool,        },    )    if err != nil {        return    }    return}

功能

自动添加缓存代码，支持lc, redis，减轻你的心智负担，让你的代码更加简单可靠，少了大段的冗余代码，复杂的事全交给lm自动帮你做了
支持Glue[Lc|Mc]及相应批量操作Glues[Lc|Mc]，详见lm_test.go示例代码

注意

lm.LcStru.Safety，当置为true时，对lc在并发状态下返回的nil值不接受，因为lc.Get在并发状态下，同一个key返回的value有可能是nil，并且ok状态为true，Safety置为true后，对以上情况不接受，会继续调用下一层逻辑

orm (配合sql.Rows使用的超简单数据到对象映射功能函数)

实现初衷

• database/sql包，Db.Query返回的sql.Rows，通过Rows.Scan方式示例代码如下：

rows, err := db.Query("SELECT ...")defer rows.Close()for rows.Next() {    var id int    var name string    err = rows.Scan(&id, &name)}err = rows.Err()...

但实际项目场景里，我们更想这样：

rows, err := db.Query("SELECT ...")defer rows.Close()var d []*struerr = Rows2Strus(rows, &d)

这就是一种简单的对象映射，通过转为对象的方式，我们的代码更方便处理了

功能

一共提供四种场景的使用方法：

• Rows2Strus, sql.Rows转为struct slice

• sql.Rows转为struct，等同db.QueryRow

• Rows2Cnts, sql.Rows转为int slice

• Rows2Cnt, sql.Rows转为int，用于select count(1)操作

支持tag: orm，如下：

type Demo struct {    Id int    DemoName string `orm:"demo_name"` // 映射成demo_name字段}

支持匿名成员，如下：

type C struct {    Id int}type P struct {    C  // 映射成id字段    Name string}

支持snakecase配置，通过设置orm.IsSnakeCase = true，如下：

type Demo struct {    Id int    DemoName string // 映射成demo_name字段}

demo

orm_test.go

cmonitor

功能

用于进程监控，管理

实现

• 被监控进程启动后，按每300ms执行一次状态检测（通过发signal0信号检测），每个被监控进程在一个独立的协程里被监测。
• cmonitor启动后会监听一个http端口用于接收管理命令（start|stop|status|...）

使用方法

配置文件：conf.json (json格式，支持注释) conf.json

{    "env": "dev", // 配置运行环境    "envs": {        "dev": {            "port": 29118, // 配置监听端口            "rootpath": "/home/simplejia/tools/go/ws/src/github.com/simplejia",            "environ": "ulimit -n 65536", // 配置环境变量            "svrs": {                // demo                "demo": "wsp/demo/demo" // key: 名字 value: 将与rootpath拼接在一起运行            },            "log": {                "mode": 3, // 0: none, 1: localfile, 2: collector (数字代表bit位)                "level": 15 // 0: none, 1: debug, 2: warn 4: error 8: info (数字代表bit位)            }        },        "test": {            "port": 29118, // 配置监听端口            "rootpath": "/home/simplejia/tools/go/ws/src/github.com/simplejia",            "environ": "ulimit -n 65536", // 配置环境变量            "svrs": {                // demo                 "demo": "wsp/demo/demo"            },            "log": {                "mode": 3, // 0: none, 1: localfile, 2: collector (数字代表bit位)                "level": 15 // 0: none, 1: debug, 2: warn 4: error 8: info (数字代表bit位)            }        },        "prod": {            "port": 29118, // 配置监听端口            "rootpath": "/home/simplejia/tools/go/ws/src/github.com/simplejia",            "environ": "ulimit -n 65536", // 配置环境变量            "svrs": {                // demo                 "demo": "wsp/demo/demo"            },            "log": {                "mode": 2, // 0: none, 1: localfile, 2: collector (数字代表bit位)                "level": 14 // 0: none, 1: debug, 2: warn 4: error 8: info (数字代表bit位)            }        }    }}

• 运行方法：cmonitor.sh [start|stop|restart|status|check]
• 进程管理：cmonitor -[h|status|start|stop|restart] [all|["svrname"]]

注意

• cmonitor的运行日志通过clog上报，也可记录在本地cmonitor.log日志文件里，注意：此cmonitor.log日志文件不会被切分，所以尽量保持较少的日志输出，建议通过clog方式上报日志
• cmonitor启动监控进程后，被监控进程控制台日志cmonitor.log会输出到相应进程目录，最多保存30天，历史日志以cmonitor.{day}.log方式备份
• 当cmonitor启动时，会根据conf.json配置启动所有被监控进程，当被监控进程已经启动过，并且符合配置要求时，cmonitor会自动将其加入监控列表
• cmonitor会定期检查进程运行状态，如果进程异常退出，cmonitor会反复重试拉起，并且记录日志
• 当被监控进程为多进程运行模式，cmonitor只监控管理父进程(子进程应实现检测父进程运行状态，并随父进程退出而退出）
• 被监控进程以nohup方式启动，所以你的程序就不要自己设定daemon运行了
• 每分钟通过ps方式检测一次进程状态，如果出现任何异常，比如有多份进程启动等，记日志
• 由于cmonitor会同时启动内部httpserver（绑内网ip），所以也支持远程管理，比如在浏览器里输入：http://xxx.xxx.xxx.xxx:29118/?command=status&service=all

demo

$ cmonitor -status all*****STATUS OK SERVICE LIST*****demo PID:13539*****STATUS FAIL SERVICE LIST*****$ cmonitor -restart demoSUCCESS

clog (集中式日志收集服务)

实现初衷

• 实际项目中，服务会部署到多台服务器上去，机器本地日志不方便查看，通过集中收集日志到一台或两台机器上，日志以文件形式存在，按服务名，ip，日期，日志类型分别存储，这样查看日志时就方便多了
• 我们做服务时，经常需要添加一些跟业务逻辑无关的功能，比如按错误日志报警，上报数据用于统计等等，这些功能和业务逻辑混在一起，实在没有必要，有了clog，我们只需要发送有效的数据，然后就可把数据处理的工作留给clog去做

  功能

• 通过发送日志至本机agent，然后agent转发至远程master主机，api目前提供golang，c支持
• 根据配置(master/conf/conf.json)运行相关日志分析程序，目前已实现：日志输出，报警
• 输出日志文件按master/logs/{模块名}/log{dbg|err|info|war}/{day}/log{ip}{+}{sub}规则命名，最多保存30天日志

使用方法

• agent机器

  布署本机agent服务：agent/agent，配置文件：agent/conf/conf.json

• master机器

  布署master服务：master/master，配置文件：master/conf/conf.json

• agent和master服务建议用cmonitor启动管理

注意

• api.go文件里定义了agent服务端口（agent启动后会监听127.0.0.1:xxx），见clog.Port变量
• master/conf/conf.json文件里，tpl定义模板，然后通过$xxx方式引用，目前支持的handler有：filehandler和alarmhandler，filehandler用来记录本地日志，alarmhandler用来发报警
• 对于alarmhandler，相关参数配置见params，目前的报警只是打印日志，实际实用，应替换成自己的报警处理逻辑，重新赋值procs.AlarmFunc就可以了，可以在master/procs目录下新建一个go文件，如下示例：

package procsimport (    "encoding/json"    "os")func init() {    // 请替换成你自己的报警处理函数    AlarmFunc = func(sender string, receivers []string, text string) {        params := map[string]interface{}{            "Sender":    sender,            "Receivers": receivers,            "Text":      text,        }        json.NewEncoder(os.Stdout).Encode(params)    }}

• alarmhandler有防骚扰控制逻辑，相同内容，一分钟内不再报，两次报警不少于30秒，以上限制和日志文件一一对应
• 如果想添加新的handler，只需在master/procs目录下新建一个go文件，如下示例：

package procsfunc XxxHandler(cate, subcate string, content []byte, params map[string]interface{}) {}func init() {    RegisterHandler("xxxhandler", XxxHandler)}

demo

api_test.go
demo (demo项目里有clog的使用例子)

simplesvr (simple udp server)

功能：

• 超简单c/c++服务，多进程，udp通信，没有高深复杂的事件驱动，没有多线程带来的数据共享问题（加锁对性能的影响），代码结构简单，直达业务
• 适用场景：业务逻辑重，追求高吞吐量，容忍udp带来的不可靠。（已有c lib库，不方便采用golang包装时）
• c开发新手也可以快速上手

特性

• 代码结构简单，仅有一个.cpp文件：main/main.cpp，其它均是.h文件。
• 调用协议简单，'\x00'分隔字段
• 多进程，同时启动多个业务子进程，任何一个进程（包括父进程）退出，所有其它进程均退出。
• 支持json格式配置文件
• 可选通过clog方式记录日志并报警
• 提供很多有用的小组件，包括： > 简单高效的http get及post操作组件 > 类似go lc的本地缓存组件（支持lru, 支持过期后还能返回旧数据，这个在获取新数据失败时尤其有用）
• 提供些小的库函数，如：定时器，获取本机内网ip等

  注意

• 加入新依赖库时，只需要在main/main.cpp里加入库头文件，修改Makefile文件
• api目录提供api.go示例代码用于和simplesvr服务通信

gop (go REPL)

实现初衷

有时想快速验证go某个函数的使用，临时写个程序太低效，有了gop，立马开一个shell环境，边写边运行，自动为你保存上下文，还可随时导入导出snippet，另外还有代码自动补全等等特性

特性

• history record（gop启动后会在home目录下生成.gop文件夹， 输入历史会记录在此）
• tab complete，可以补全package，补全库函数，需要系统安装有gocode
• r|w两种模式切换，r是默认模式，对用户输入实时解析运行，执行w命令切换到w模式，w模式下，只有当执行run命令时，代码才会真正执行
• 代码实时查看和编辑功能[!命令功能]
• snippet，可以导入和导出模板[<,>命令功能]

  注意：

• 输入代码时，支持续行
• 对于如下代码，只会在执行结束后一并输出 > print(1);time.Sleep(time.Second);print(2)
• 可以通过echo 123这种方式输出, echo是println的简写，你甚至可以重新定义println变量来使用自己的打印方法，比如像我这样定义(utils.IprintD的特点是可以打印出指针指向的实际内容，就算是嵌套的指针也可以，fmt.Printf做不到)：

  import "github.com/simplejia/utils"var println = utils.IprintD

• 导入项目package时，最好提前通过go install方式安装包文件到pkg目录，这样可以加快执行速度
• 可以提前import包，后续使用时再自动引入
• gop启动后会自动导入$PWD/gop.tmpl或者$HOME/.gop/gop.tmpl模板代码，可以把常用的代码保存到gop.tmpl里

demo

$ gopWelcome to the Go Partner! [[version: 1.7, created by simplejia]Enter '?' for a list of commands.[r]$ ?Commands:        ?|help  help menu        -[dpc][#],[#]-[#],...   pop last/specific (declaration|package|code)        ![!]    inspect source [with linenum]        <tmpl   source tmpl        >tmpl   write tmpl        [#](...)        add def or code        run     run source        compile compile source        w       write source mode on        r       write source mode off        reset   reset        list    tmpl list[r]$ for i:=1; i<3; i++ {.....    print(i).....    time.Sleep(time.Millisecond).....}12[r]$ import _ "github.com/simplejia/wsp/demo/mysql"[r]$ import _ "github.com/simplejia/wsp/demo/redis"[r]$ import _ "github.com/simplejia/wsp/demo/conf"[r]$ import "github.com/simplejia/lc"[r]$ import "github.com/simplejia/wsp/demo/service"[r]$ lc.Init(1024)[r]$ demoService := service.NewDemo()[r]$ demoService.Set("123", "456")[r]$ time.Sleep(time.Millisecond)[r]$ echo demoService.Get("123")456[r]$ >gop[r]$ <gop[r]$ !        package mainp0:     import _ "github.com/simplejia/wsp/demo/mysql"p1:     import _ "github.com/simplejia/wsp/demo/redis"p2:     import _ "github.com/simplejia/wsp/demo/conf"p3:     import "github.com/simplejia/lc"p4:     import "github.com/simplejia/wsp/demo/service"p5:     import "fmt" // imported and not usedp6:     import "strconv" // imported and not usedp7:     import "strings" // imported and not usedp8:     import "time" // imported and not usedp9:     import "encoding/json" // imported and not usedp10:    import "bytes" // imported and not used        func main() {c0:             lc.Init(1024)c1:             demoService := service.NewDemo()c2:             _ = demoServicec3:             demoService.Set("123", "456")c4:             time.Sleep(time.Millisecond)        }[r]$