feat: add sdk download and regiter

zhangzengfei

2020-01-19 20ed84cad4fd237cca40619d0fe7ed39c5e030cd

feat: add sdk download and regiter

 controllers/sdk.go

@@ -1,43 +1,43 @@
package controllers

import (
    "basic.com/dbapi.git"
    uuid "github.com/satori/go.uuid"
    "webserver/extend/code"
    "webserver/extend/config"
    "basic.com/valib/logger.git"
    "webserver/extend/util"
    "github.com/gin-gonic/gin"
    "webserver/service"

    "basic.com/dbapi.git"
    "basic.com/valib/logger.git"
    "github.com/gin-gonic/gin"
)

type SdkController struct {
}

type SdkVo struct {
    Id         string `json:"id"`
    SdkType string `json:"sdk_type"`//人脸检测：FaceDetect,人脸提取：FaceExtract,人脸比对：FaceCompare,行为：Yolo
    SdkName string `json:"sdk_name"`    //算法名称
    Args    []SdkArgVo `json:"args"` //算法参数
    Icon    string `json:"icon"`       //算法图标
    Url     string `json:"url"`                       //算法下载地址
    CreateTime string `json:"create_time"`
    CreateBy string `json:"create_by"`
    UpdateTime string `json:"update_time"`
    Enable bool `json:"enable"`//是否启用
    DelFlag bool `json:"del_flag"`//逻辑删除
    Id         string     `json:"id"`
    SdkType    string     `json:"sdk_type"` //人脸检测：FaceDetect,人脸提取：FaceExtract,人脸比对：FaceCompare,行为：Yolo
    SdkName    string     `json:"sdk_name"` //算法名称
    Args       []SdkArgVo `json:"args"`     //算法参数
    Icon       string     `json:"icon"`     //算法图标
    Url        string     `json:"url"`      //算法下载地址
    CreateTime string     `json:"create_time"`
    CreateBy   string     `json:"create_by"`
    UpdateTime string     `json:"update_time"`
    Enable     bool       `json:"enable"`   //是否启用
    DelFlag    bool       `json:"del_flag"` //逻辑删除
}

//算法参数定义
type SdkArgVo struct {
    Alias   string `json:"alias"`   //参数的别名
    Name  string `json:"name"`  //参数名称
    Type  string `json:"type"`  //参数类型(整数，字符串或数组)
    Must  bool   `json:"must"`  //是否必填
    Unit  string `json:"unit"`
    Range string `json:"range"` //值的范围，eg：0,100表示从0到100
    Alias        string `json:"alias"` //参数的别名
    Name         string `json:"name"`  //参数名称
    Type         string `json:"type"`  //参数类型(整数，字符串或数组)
    Must         bool   `json:"must"`  //是否必填
    Unit         string `json:"unit"`
    Range        string `json:"range"` //值的范围，eg：0,100表示从0到100
    DefaultValue string `json:"default_value"`
    Sort  int    `json:"sort"`  //参数顺序
    Sort         int    `json:"sort"` //参数顺序
}

// @Security ApiKeyAuth
@@ -54,13 +54,13 @@
    var sdk SdkVo
    var api dbapi.SdkApi

    if err := c.BindJSON(&sdk);err !=nil {
        util.ResponseFormat(c,code.RequestParamError,"参数错误")
    if err := c.BindJSON(&sdk); err != nil {
        util.ResponseFormat(c, code.RequestParamError, "参数错误")
        return
    }
    paramBody := util.Struct2Map(sdk)
    flag, data := api.Save(paramBody)
    if flag{
    if flag {
        util.ResponseFormat(c, code.Success, data)
    } else {
        util.ResponseFormat(c, code.ComError, data)
@@ -77,10 +77,9 @@
// @Failure 500 {string} json "{"code":500, msg:"请求失败",data:"[]",success:false}"
// @Router /data/api-v/sdk/findAllSdk [GET]
func (sc SdkController) FindAllSdk(c *gin.Context) {
    var api dbapi.SdkApi

    sdkName := c.Query("sdkName")
    sdks := api.FindAll(sdkName)

    sdks := service.GetSdkList(sdkName)
    util.ResponseFormat(c, code.Success, sdks)
}

@@ -96,17 +95,17 @@
func (sc SdkController) GetById(c *gin.Context) {
    var api dbapi.SdkApi
    sdkId := c.Query("id")
    if sdkId == ""{
        util.ResponseFormat(c,code.RequestParamError,"sdkId不能为空")
    if sdkId == "" {
        util.ResponseFormat(c, code.RequestParamError, "sdkId不能为空")
        return
    }

    flag, sdk := api.GetById(sdkId)

    if flag {
        util.ResponseFormat(c,code.Success,sdk)
        util.ResponseFormat(c, code.Success, sdk)
    } else {
        util.ResponseFormat(c,code.ComError,sdk)
        util.ResponseFormat(c, code.ComError, sdk)
    }
}

@@ -114,16 +113,16 @@
func (sc SdkController) GetSdkArgs(c *gin.Context) {
    sdkId := c.Query("sdkId")
    scope := c.Query("scope")
    if sdkId== "" || scope == ""{
        util.ResponseFormat(c,code.RequestParamError,"参数有误")
    if sdkId == "" || scope == "" {
        util.ResponseFormat(c, code.RequestParamError, "参数有误")
        return
    }
    var api dbapi.SdkApi
    b,d := api.GetSdkArgs(sdkId, scope)
    if b{
        util.ResponseFormat(c,code.Success,d)
    b, d := api.GetSdkArgs(sdkId, scope)
    if b {
        util.ResponseFormat(c, code.Success, d)
    } else {
        util.ResponseFormat(c,code.ComError,"查询失败")
        util.ResponseFormat(c, code.ComError, "查询失败")
    }
}

@@ -140,53 +139,56 @@
    var api dbapi.SdkApi
    taskId := c.Query("taskId")
    if taskId == "" {
        util.ResponseFormat(c,code.ComError,"任务id不能为空")
        util.ResponseFormat(c, code.ComError, "任务id不能为空")
        return
    }
    flag,sdks := api.FindByTaskId(taskId)
    flag, sdks := api.FindByTaskId(taskId)
    if flag {
        util.ResponseFormat(c,code.Success,sdks)
        util.ResponseFormat(c, code.Success, sdks)
    } else {
        util.ResponseFormat(c,code.ComError,sdks)
        util.ResponseFormat(c, code.ComError, sdks)
    }
}

func (sc SdkController) SdkDownLoad(c *gin.Context) {
    path,exist := c.GetQuery("path")
    var soApi dbapi.SoApi
    var sdkConfig map[string]interface{}

    path, exist := c.GetQuery("path")
    if !exist {
        util.ResponseFormat(c,code.ComError,"下载的算法参数有误")
        util.ResponseFormat(c, code.ComError, "下载的算法参数有误")
    }

    logger.Info(path)

    // 先查找本地目录内是否已存在算法so, 没有走云端下载
    if sdkConfig = service.FindLocalSdkSoById(path); sdkConfig == nil {
        sdkConfig = service.DownSdk(path)
    }

    if sdkConfig != nil {
        regSdkSuccess, _ := soApi.Add(sdkConfig)
        regArgsSuccess, _ := soApi.Add(sdkConfig)

        if regSdkSuccess && regArgsSuccess {
            util.ResponseFormat(c, code.Success, "下载算法成功！")
            return
        }
    }

    flag := c.Query("needUpdateMiddle")
    // 下载算法（有时候也需要把中间件一起下载下来）
    if flag == "true" {
        // 下载并更新中间件,带上MD5校验
        flag1,err := service.DownSo("http://"+config.SoPath.Ip+":"+config.SoPath.Port+"/"+"middleware.so")
        logger.Debug("中间件路径：","http://"+config.SoPath.Ip+":"+config.SoPath.Port+"/"+"middleware.so")
        flag1, err := service.DownSo("http://" + config.SoPath.Ip + ":" + config.SoPath.Port + "/" + "middleware.so")
        logger.Debug("中间件路径：", "http://"+config.SoPath.Ip+":"+config.SoPath.Port+"/"+"middleware.so")
        if err != nil {
            logger.Info(err)
        }
        if !flag1 {
            util.ResponseFormat(c,code.ComError,"请重新下载算法")
            util.ResponseFormat(c, code.ComError, "请重新下载算法")
        }
    }
    // 下载算法，校验，并写入到目标目录下
    flag2,err2 := service.DownSo(path)
    if err2 != nil {
        logger.Info(err2)
    }
    if !flag2 {
        util.ResponseFormat(c,code.ComError,"请重新下载算法")
    }
    // 将算法和so名称存到规则私有的注册表
    var soApi dbapi.SoApi
    param := make(map[string]interface{})
    param["id"] = uuid.NewV4().String()
    sdkId := uuid.NewV4().String()
    param["sdkId"] = sdkId
    param["soName"] = service.GetFileNameFromUrl(path,true)
    flag3,_ := soApi.Add(param)
    if flag3 {
        util.ResponseFormat(c,code.Success,"下载算法成功！")
    }
}

    util.ResponseFormat(c, code.ComError, "算法下载失败,请重试")
}

 go.mod

@@ -7,7 +7,7 @@
    basic.com/fileServer/WeedFSClient.git v0.0.0-20190919054037-0182b6c3f5cb // indirect
    basic.com/gb28181api.git v0.0.0-20191028082253-472438a8407b // indirect
    basic.com/pubsub/cache.git v0.0.0-20190718093725-6a413e1d7d48 // indirect
    basic.com/pubsub/esutil.git v0.0.0-20191120125514-865efa73a9ae // indirect
    basic.com/pubsub/esutil.git v0.0.0-20200114073900-ad9de8362777 // indirect
    basic.com/pubsub/protomsg.git v0.0.0-20191223033758-3fd9a59b8137 // indirect
    basic.com/valib/capture.git v0.0.0-20191204103802-89c923cf2abe // indirect
    basic.com/valib/deliver.git v0.0.0-20190531095353-25d8c3b20051

 service/SdkDownLoad.go

@@ -4,63 +4,78 @@
    "bytes"
    "crypto/md5"
    "encoding/hex"
    "encoding/json"
    "fmt"
    "io"
    "io/ioutil"
    "net/http"
    "os"
    "path/filepath"
    "strings"
    "basic.com/valib/logger.git"

    "webserver/util"

    "basic.com/dbapi.git"
    "basic.com/valib/logger.git"
)

func DownSdk(id string) map[string]interface{} {
    // 下载算法
    if ok, err := DownSo(id); !ok {
        logger.Error("下载算法失败", err)
        return nil
    }

    return FindLocalSdkSoById(id)
}

// 从服务器上下载文件到临时目录，校验之后如果完整将其拷贝到目标目录下
func DownSo(url string)(bool,error) {
func DownSo(url string) (bool, error) {
    resp, err := http.Get(url)
    if err != nil {
        logger.Error("获取文件失败")
        return false,err
        return false, err
    }
    // 从resp中读出zip文件解压缩，解出face.so,face.txt,然后把解压出的so用MD5编码出一个temp.txt文件，与解压出的so.txt文件比对，
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        logger.Error("读取resp.body失败")
        return false,err
        return false, err
    }
    CopyFile(body, "/opt/temp/temp.zip")
    util.DeCompress("/opt/temp/temp.zip", "/opt/temp")
    fileName := GetFileNameFromUrl(url,false)
    md5str,err1 := File2md5("/opt/temp/"+fileName+".so")
    fileName := GetFileNameFromUrl(url, false)
    md5str, err1 := File2md5("/opt/temp/" + fileName + ".so")
    if err1 != nil {
        logger.Error(err1)
        return false,err1
        return false, err1
    }
    md5str_origin,err2 := ioutil.ReadFile("/opt/temp/"+fileName+".txt")
    md5str_origin, err2 := ioutil.ReadFile("/opt/temp/" + fileName + ".txt")
    if err2 != nil {
        logger.Error("读取解压后的md5文件失败")
        return false,err2
        return false, err2
    }
    flag := CompareMd5([]byte(md5str),md5str_origin)
    flag := CompareMd5([]byte(md5str), md5str_origin)
    if flag {
        logger.Info("两次MD5编码一致！")
    } else {
        logger.Debug("两次MD5编码不一致，请重新下载")
        return false,nil
        return false, nil
    }
    // 从url中截取soName
    soName := GetFileNameFromUrl(url,true)
    soName := GetFileNameFromUrl(url, true)
    f, err := os.Create("/opt/workspace/ruleprocess/algorithm/" + soName)
    if err != nil {
        logger.Error("在项目目录下创建so文件失败")
        return false,err
        return false, err
    }
    data,_ := ioutil.ReadFile("/opt/temp/"+soName)
    _,err4 := f.Write(data)
    data, _ := ioutil.ReadFile("/opt/temp/" + soName)
    _, err4 := f.Write(data)
    if err4 != nil {
        logger.Error("复制文件出错")
        return false,err4
        return false, err4
    }
    return true,nil
    return true, nil
}

func CopyFile(byte []byte, dst string) (w int64, err error) {
@@ -74,7 +89,7 @@
}

// 指定目录的文件生成相应的MD5码文件
func File2md5 (filename string) (string, error) {
func File2md5(filename string) (string, error) {
    // 文件生成MD5加密加密文件
    file, err := os.Open(filename)
    if err != nil {
@@ -88,25 +103,122 @@
        return "", err
    }
    md5Str := hex.EncodeToString(md5.Sum(nil))
    return md5Str,nil
    return md5Str, nil
}

// 从url中截取出文件名，参数是是否带后缀
func GetFileNameFromUrl(url string,withSuffix bool)string {
    fileName := strings.Split(url,"/")[len(strings.Split(url,"/"))-1]
func GetFileNameFromUrl(url string, withSuffix bool) string {
    fileName := strings.Split(url, "/")[len(strings.Split(url, "/"))-1]
    if withSuffix {
        return fileName
    } else {
        withoutSuffix := strings.Split(fileName,".")[0]
        withoutSuffix := strings.Split(fileName, ".")[0]
        return withoutSuffix
    }
}

// 比较两个MD5编码是否一致
func CompareMd5(value1 []byte,value2 []byte) bool{
    num := bytes.Compare(value1,value2)
func CompareMd5(value1 []byte, value2 []byte) bool {
    num := bytes.Compare(value1, value2)
    if num == 0 {
        return true
    } else {
        return false
    }
}
}

func GetSdkList(sdkName string) []map[string]interface{} {
    // 待返回的数据
    sdks, idsCache := queryDatabase(sdkName)

    // 查询本地已经存在的算法和远端的全部算法, 然后和已安装的比对, 返回全部可用的算法组. 未安装的算法在前端走下载流程
    localSdks := GetLocalSdks()
    for _, sdk := range localSdks {
        id := sdk["id"].(string)
        if !idsCache[id] {
            idsCache[id] = true

            sdk["enable"] = false
            sdk["installed"] = false

            // 不返回参数信息
            delete(sdk, "args")
            sdks = append(sdks, sdk)
        }

    }

    // 目前还没有远端算法库,
    // remoteSdks := getRemoteSdks()

    return sdks
}

func queryDatabase(sdkName string) ([]map[string]interface{}, map[string]bool) {
    var api dbapi.SdkApi
    ids := make(map[string]bool)
    sdks := []map[string]interface{}{}

    // 查询已经安装的算法
    data := api.FindAll(sdkName)
    for _, sdk := range data {
        ids[sdk.Id] = true
        sdks = append(sdks, map[string]interface{}{
            "id":        sdk.Id,
            "ipc_id":    sdk.IpcId,
            "sdk_type":  sdk.SdkType,
            "sdk_name":  sdk.SdkName,
            "icon":      sdk.Icon,
            "enable":    sdk.Enable,
            "installed": true,
        })
    }

    return sdks, ids
}

func GetLocalSdks() []map[string]interface{} {
    var algos = []map[string]interface{}{}

    AlgorithmFiles := "/opt/vasystem/bin/algorithm/*.json"

    files, err := filepath.Glob(AlgorithmFiles)
    if err != nil {
        fmt.Println("Cannot access algorithm json files: No such file or directory")
        return algos
    }

    for _, filename := range files {
        algo := make(map[string]interface{})
        f, err := ioutil.ReadFile(filename)
        if err != nil {
            return algos
        }

        if err := json.Unmarshal(f, &algo); err != nil {
            return algos
        }

        algos = append(algos, map[string]interface{}{
            "id":       algo["sdkId"],
            "ipc_id":   algo["ipcId"],
            "sdk_type": algo["sdkType"],
            "sdk_name": algo["sdkName"],
            "icon":     algo["icon"],
            "args":     algo["sdkArgs"],
        })
    }

    return algos
}

func FindLocalSdkSoById(id string) map[string]interface{} {
    localAlgos := GetLocalSdks()
    for _, sdk := range localAlgos {
        if sdk["id"].(string) == id {
            return sdk
        }
    }

    return nil
}