panlei
2019-07-10 45184ccbcb5f787f09b62b0ddf4308004a46d27a
insertdata/insertDataToEs.go
@@ -1,87 +1,94 @@
package insertdata
import (
   "ruleprocess/logger"
   "encoding/json"
   "errors"
   "fmt"
   "encoding/json"
   "io/ioutil"
   "net"
   "ruleprocess/cache"
   "strings"
   "time"
   "basic.com/pubsub/protomsg.git"
   "basic.com/dbapi.git"
   "github.com/golang/protobuf/proto"
   "ruleprocess/ruleserver"
   "github.com/satori/go.uuid"
   "ruleprocess/ruleserver"
   "ruleprocess/util"
   "github.com/go-yaml/yaml"
)
var weedfsUrl string
type conf struct {
   PhotoUrl string `yaml:"photoUrl"`
}
func init() {
   data, err := ioutil.ReadFile("./config/conf.yml")
   if err != nil {
      fmt.Println("读取配置文件出错--",err)
      logger.Error("读取配置文件出错--",err)
   }
   c := conf{}
   //把yaml形式的字符串解析成struct类型
   yaml.Unmarshal(data, &c)
   weedfsUrl = c.PhotoUrl
}
// 人脸的数据结构
type PerVideoPicture struct {
   Id              string `json:"id"`
   CameraId        string `json:"cameraId"`
   CameraAddr      string `json:"cameraAddr"`
   PicDate         string `json:"picDate"`
   PicMaxUrl       string `json:"picMaxUrl"`
   TaskId          string `json:"taskId"`
   TaskName        string `json:"taskName"`
   SdkName         string `json:"sdkName"`
   Content         string `json:"content"`
   LikeDate        string `json:"likeDate"`
   Sex             int32  `json:"sex"`
   Age             int32  `json:"age"`
   AgeDescription  string `json:"ageDescription"`
   Race            int32  `json:"race"`
   SmileLevel      int32  `json:"smileLevel"`
   BeautyLevel     int32  `json:"beautyLevel"`
   FaceFeature     string `json:"faceFeature"`
   PicSmUrl        string `json:"picSmUrl"`
   VideoUrl        string `json:"videoUrl"`
   AnalyServerId   string `json:"analyServerId"`
   AnalyServerName string `json:"analyServerName"`
   AnalyServerIp   string `json:"analyServerIp"`
   ClusterId       string `json:"clusterId"`
   IsAlarm         string `json:"isAlarm"`
   IsAckAlarm      string `json:"isAckAlarm"`
   IsCollect       string `json:"isCollect"`
   IsDelete        int    `json:"isDelete"`
   BaseInfo        Base   `json:"baseInfo"`
}
type Base struct {
   TableId      string  `json:"tableId"`
   TableName    string  `json:"tableName"`
   CompareScore float64 `json:"compareScore"`
   PersonId     string  `json:"personId"`
   PersonName   string  `json:"personName"`
   PersonPicUrl string  `json:"personPicUrl"`
   PhoneNum     string  `json:"phoneNum"`
   Sex          string  `json:"sex"`
   IdCard       string  `json:"idCard"`
   MonitorLevel string  `json:"monitorLevel"`
   Content      string  `json:"content"`
   Id              string   `json:"id"`
   CameraId        string   `json:"cameraId"`
   CameraAddr      string   `json:"cameraAddr"`
   PicDate         string   `json:"picDate"`
   PicMaxUrl       string   `json:"picMaxUrl"`
   TaskId          string   `json:"taskId"`
   TaskName        string   `json:"taskName"`
   SdkName         string   `json:"sdkName"`
   Content         string   `json:"content"`
   LikeDate        string   `json:"likeDate"`
   Sex             string   `json:"sex"`
   Age             int32    `json:"age"`
   AgeDescription  string   `json:"ageDescription"`
   Race            string   `json:"race"`
   SmileLevel      int32    `json:"smileLevel"`
   BeautyLevel     int32    `json:"beautyLevel"`
   FaceFeature     string   `json:"faceFeature"`
   PicSmUrl        []string `json:"picSmUrl"`
   VideoUrl        string   `json:"videoUrl"`
   AnalyServerId   string   `json:"analyServerId"`
   AnalyServerName string   `json:"analyServerName"`
   AnalyServerIp   string   `json:"analyServerIp"`
   ClusterId       string   `json:"clusterId"`
   DetectScore      float64    `json:"detectScore"`
   IsAlarm         int      `json:"isAlarm"`
   IsAckAlarm      int      `json:"isAckAlarm"`
   IsCollect       int      `json:"isCollect"`
   IsDelete        int      `json:"isDelete"`
   BaseInfo        []*protomsg.Baseinfo   `json:"baseInfo"`
}
//  yolo行为的数据结构
type Personaction struct {
   Id              string `json:"id"`
   CameraId        string `json:"cameraId"`
   CameraName      string `json:"cameraName"`
   CameraAddr      string `json:"cameraAddr"`
   TaskId          string `json:"taskId"`
   TaskName        string `json:"taskName"`
   SdkName         string `json:"sdkName"`
   Content         string `json:"content"`
   AlarmRules      []AlarmRule
   AnalyServerId   string `json:"analyServerId"`
   AnalyServerName string `json:"analyServerName"`
   AnalyServerIp   string `json:"analyServerIp"`
   ClusterId       string `json:"clusterId"`
   PicUrl          string `json:"picUrl"`
   PicDate         string `json:"picDate"`
   VideoUrl        string `json:"videoUrl"`
   IsAlarm         string `json:"isAlarm"`
   IsAckAlarm      string `json:"isAckAlarm"`
   IsCollect       string `json:"isCollect"`
   IsDelete        int    `json:"isDelete"`
   Id              string      `json:"id"`
   CameraId        string      `json:"cameraId"`
   CameraName      string      `json:"cameraName"`
   CameraAddr      string      `json:"cameraAddr"`
   TaskId          string      `json:"taskId"`
   TaskName        string      `json:"taskName"`
   SdkName         string      `json:"sdkName"`
   Content         string      `json:"content"`
   AlarmRules      []AlarmRule `json:"alarmRules"`
   AnalyServerId   string      `json:"analyServerId"`
   AnalyServerName string      `json:"analyServerName"`
   AnalyServerIp   string      `json:"analyServerIp"`
   ClusterId       string      `json:"clusterId"`
   PicSmUrl        []string    `json:"picSmUrl"`
   PicDate         string      `json:"picDate"`
   VideoUrl        string      `json:"videoUrl"`
   IsAlarm         int         `json:"isAlarm"`
   IsAckAlarm      int         `json:"isAckAlarm"`
   IsCollect       int         `json:"isCollect"`
   IsDelete        int         `json:"isDelete"`
}
type AlarmRule struct {
@@ -90,137 +97,263 @@
   RuleText   string `json:"ruleText"`
}
// 往ES插数据
func InsertToEs(msg ruleserver.ResultMsg) {
   fmt.Println("往ES插数据")
   for _, sdkinfo := range msg.Tasklab.Sdkinfos {
      if sdkinfo.Sdktype == "FaceDetect" {
         faceParam := protomsg.ParamFacePos{}
         err1 := proto.Unmarshal(sdkinfo.Sdkdata, &faceParam)
         if err1 != nil {
            fmt.Println("解析sdk数据时出现错误", err1)
            continue
   // 直接从规则的标签数据里拿符合规则的人脸结果
   //logger.Info("------------------------------------从配置文件读取的值:",weedfsUrl)
   if msg.RuleResult["face"] != nil && len(msg.RuleResult["face"].([]ruleserver.Arg)) > 0 {
      logger.Info("往ES插人脸数据")
      for _, face := range msg.RuleResult["face"].([]ruleserver.Arg) {
         // 上传大图
         // 解压缩并上传图片
         bdata, err := util.UnCompress(msg.Data)
         if err != nil {
            panic("解压缩图片时出现错误")
         }
         for _, face := range faceParam.Faces {
         i := protomsg.Image{}
         err = proto.Unmarshal(bdata, &i)
         bigPhotoUrl := make(map[string]interface{})
         bigPhotoUrl, err = util.PostFormBufferData(weedfsUrl, i, uuid.NewV4().String())
         logger.Info(bigPhotoUrl)
         if len(face.Liker) == 0 {
            // 人脸检测,没有相似的底库人员
            localConfig, err := cache.GetServerInfo()
            if err != nil {
               logger.Error("查询本机信息失败!")
            }
            serverIp, err := GetLocalIP()
            // 解压缩并上传图片
            bdata, err := util.UnCompress(msg.Data)
            if err != nil {
               panic("解压缩图片时出现错误")
            }
            // 查询cameraName
            camera, err := cache.GetCameraById(msg.Cid)
            if err != nil {
               logger.Error("查询摄像机信息失败")
            }
            i := protomsg.Image{}
            err = proto.Unmarshal(bdata, &i)
            logger.Info("-------------------------------------------看下宽和高", int(face.Location.X),int(face.Location.Y),int(face.Location.X+face.Location.Width),int(face.Location.Y+face.Location.Height))
            bytes := util.SubImg(i, int(face.Location.X), int(face.Location.Y), int(face.Location.X+face.Location.Width), int(face.Location.Y+face.Location.Height))
            resp, err := util.PostFormBufferData1(weedfsUrl, bytes, uuid.NewV4().String())
            if err != nil {
               logger.Error("上传小图出错")
            }
            logger.Info("================小图地址:",resp["fileUrl"].(string))
            sex := ""
            if face.ThftRes.Gender == 1 {
               sex = "男"
            } else {
               sex = "女"
            }
            race := getRaceString(face.ThftRes.Race)
            ageDescription := getDescription(face.ThftRes.Age)
            pervideo := PerVideoPicture{
               uuid.NewV4().String(),
               msg.Cid,
               msg.Caddr,
               camera.Addr,
               time.Now().Format("2006-01-02 15:04:05"),
               "",
               strings.Split(bigPhotoUrl["fileUrl"].(string), "/")[1],
               msg.Tasklab.Taskid,
               msg.Tasklab.Taskname,
               sdkinfo.SdkName,
               "人脸",
               "",
               time.Now().Format("2006-01-02 15:04:05"), // 只检测,没有比对时间
               sex,
               face.ThftRes.Age,
               ageDescription,
               race,
               face.ThftRes.Smile,
               face.ThftRes.Beauty,
               string(face.Feature),
               []string{strings.Split(resp["fileUrl"].(string), "/")[1]},
               "暂无集群",
               localConfig.ServerId,
               localConfig.ServerName,
               serverIp,
               "",
               face.Result.Gender,
               face.Result.Age,
               "",
               face.Result.Race,
               face.Result.Smile,
               face.Result.Beauty,
               "不是每个人脸算法都有",
               "---",
               "",
               "",
               "",
               "",
               "",
               "",
               "",
               "",
               face.Score,
               1,
               0,
               Base{
                  "是每个人脸算法都有吗",
                  "",
                  0,
                  "",
                  "",
                  "",
                  "",
                  "",
                  "",
                  "",
                  "",
               },
               0,
               0,
               []*protomsg.Baseinfo{},
            }
            requstbody, err := json.Marshal(pervideo)
            if err != nil {
               fmt.Println("json parse error ", err)
               logger.Info("json parse error ", err)
               return
            }
            err1 := EsReq("POST", "http://192.168.1.182:9200/videopersons/perVideoPicture", requstbody)
            if err1 != nil {
               logger.Error("上传ES出错!---",err1)
            }
            //logger.Info(err.Error())
         } else {
            // 人脸比对
            localConfig, err := cache.GetServerInfo()
            if err != nil {
               logger.Info("查询本机信息失败!")
            }
            serverIp, err := GetLocalIP()
            // 解压缩并上传图片
            bdata, err := util.UnCompress(msg.Data)
            if err != nil {
               panic("解压缩图片时出现错误")
            }
            // 查询cameraName
            camera, err := cache.GetCameraById(msg.Cid)
            if err != nil {
               logger.Error("查询摄像机信息失败")
            }
            i := protomsg.Image{}
            err = proto.Unmarshal(bdata, &i)
            //logger.Info("-------------------------------------------看下宽和高", i.Width, i.Height)
            bytes := util.SubImg(i, int(face.Location.X), int(face.Location.Y), int(face.Location.X+face.Location.Width), int(face.Location.Y+face.Location.Height))
            resp, err := util.PostFormBufferData1(weedfsUrl, bytes, uuid.NewV4().String())
            if err != nil {
               logger.Error("上传小图出错")
            }
            logger.Info("================小图地址:",resp["fileUrl"].(string))
            sex := ""
            if face.ThftRes.Gender == 1 {
               sex = "男"
            } else {
               sex = "女"
            }
            race := getRaceString(face.ThftRes.Race)
            ageDescription := getDescription(face.ThftRes.Age)
            pervideo := PerVideoPicture{
               uuid.NewV4().String(),
               msg.Cid,
               camera.Addr,
               time.Now().Format("2006-01-02 15:04:05"),
               strings.Split(bigPhotoUrl["fileUrl"].(string), "/")[1],
               msg.Tasklab.Taskid,
               msg.Tasklab.Taskname,
               "人脸",
               "",
               time.Now().Format("2006-01-02 15:04:05"), // 只检测,没有比对时间
               sex,
               face.ThftRes.Age,
               ageDescription,
               race,
               face.ThftRes.Smile,
               face.ThftRes.Beauty,
               "",
               []string{strings.Split(resp["fileUrl"].(string), "/")[1]},
               "暂无集群",
               localConfig.ServerId,
               localConfig.ServerName,
               serverIp,
               "",
               face.Score,
               1,
               0,
               0,
               0,
               face.Liker,
            }
            requstbody, err := json.Marshal(pervideo)
            if err != nil {
               logger.Error("json parse error ", err)
               return
            }
            err = EsReq("POST", "http://192.168.1.182:9200/videopersons/perVideoPicture", requstbody)
            if err != nil {
               fmt.Println("es can not execute right.")
            }
            logger.Info("跟底库的相似数据---------:", face.Liker)
            fmt.Println("------------------------------------------哈哈哈哈,底库有人")
         }
      }
      if sdkinfo.Sdktype == "Yolo" {
         yoloObj := protomsg.ParamYoloObj{}
         err1 := proto.Unmarshal(sdkinfo.Sdkdata, &yoloObj)
         if err1 != nil {
            fmt.Println("解析sdk数据时出现错误", err1)
            continue
         }
         alarmRules := []AlarmRule{}
         for _,result := range msg.RuleResult {
            alarmRules = append(alarmRules,AlarmRule{result.RuleGroupId,result.AlarmLevel,result.RuleText})
         }
         isAlarm := ""
         if len(alarmRules) > 0 {
            isAlarm = "1"
         }else {
            isAlarm = "0"
         }
         // 查询本机信息
         flag,localConfig := dbapi.SysSetApi{}.GetServerInfo()
         if !flag {
            fmt.Println("查询本机信息失败!")
         }
         // 查询cameraName
         camera,err := dbapi.CameraApi{}.GetCameraById(msg.Cid)
         if err == nil {
            fmt.Println("查询摄像机信息失败")
         }
         serverIp,err := GetLocalIP()
         peraction := Personaction{
            uuid.NewV4().String(),
            msg.Cid,
            camera.Name,
            msg.Caddr,
            msg.Tasklab.Taskid,
            msg.Tasklab.Taskname,
            sdkinfo.SdkName,
            "",
            alarmRules,
            localConfig.ServerId,
            localConfig.ServerName,
            serverIp,
            "",
            "",
            time.Now().Format("2006-01-02 15:04:05"),
            "",
            isAlarm,
            "",
            "",
            0,
         }
         requstbody, err := json.Marshal(peraction)
         if err != nil {
            fmt.Println("json parse error ", err)
            return
         }
         err = EsReq("POST", "http://192.168.1.182:9200/videopersons/perVideoPicture", requstbody)
         if err != nil {
            fmt.Println("es can not execute right.")
         }
      }
   }
   //if msg.RuleResult["yolo"] != nil && len(msg.RuleResult["yolo"].([]ruleserver.Result)) > 0 {
   //   logger.Info("往ES插yolo数据")
   //   var sdkNames string = ""
   //   alarmRules := []AlarmRule{}
   //   for _, yoloResult := range msg.RuleResult["yolo"].([]ruleserver.Result) {
   //      sdkNames = sdkNames + yoloResult.SdkName
   //      alarm := ChangeToString(yoloResult.AlarmLevel)
   //      alarmRules = append(alarmRules, AlarmRule{yoloResult.RuleGroupId, alarm, yoloResult.RuleText})
   //   }
   //   isAlarm := 0
   //   resp := make(map[string]interface{})
   //   if len(alarmRules) > 0 {
   //      isAlarm = 1
   //      // 解压缩并上传图片
   //      bdata, err := util.UnCompress(msg.Data)
   //      if err != nil {
   //         panic("解压缩图片时出现错误")
   //      }
   //      i := protomsg.Image{}
   //      err = proto.Unmarshal(bdata, &i)
   //      //resp, err = util.PostFormBufferData(weedfsUrl, i, uuid.NewV4().String())
   //      resp, err = util.DrawPolygonOnImage(msg.Cid, i,msg.RuleResult["yolo"].([]ruleserver.Result))
   //      if err != nil {
   //         logger.Error("画框或上传图片服务器出错", err)
   //      } else {
   //         logger.Info("已报警并上传改帧图片到服务器")
   //      }
   //   } else {
   //      isAlarm = 0
   //      // 不是报警数据不存
   //      return
   //   }
   //   // logger.Println("图片上传返回值:", resp)
   //   // 查询本机信息
   //   localConfig, err := cache.GetServerInfo()
   //   if err != nil {
   //      logger.Error("查询本机信息失败!")
   //   }
   //   // 查询cameraName
   //   camera, err := cache.GetCameraById(msg.Cid)
   //   if err != nil {
   //      logger.Error("查询摄像机信息失败")
   //   }
   //   serverIp, err := GetLocalIP()
   //   peraction := Personaction{
   //      uuid.NewV4().String(),
   //      msg.Cid,
   //      camera.Name,
   //      camera.Addr,
   //      msg.Tasklab.Taskid,
   //      msg.Tasklab.Taskname,
   //      sdkNames,
   //      "",
   //      alarmRules,
   //      localConfig.ServerId,
   //      localConfig.ServerName,
   //      serverIp,
   //      "",
   //      []string{strings.Split(resp["fileUrl"].(string), "/")[1]},
   //      time.Now().Format("2006-01-02 15:04:05"),
   //      "",
   //      isAlarm,
   //      0,
   //      0,
   //      0,
   //   }
   //   requstbody, err := json.Marshal(peraction)
   //
   //   if err != nil {
   //      logger.Info("json parse error ", err)
   //      return
   //
   //   }
   //   err = EsReq("POST", "http://192.168.1.182:9200/personaction/perVideoAction", requstbody)
   //   if err != nil {
   //      logger.Error("往ES插入数据失败", err)
   //   } else {
   //      logger.Info("__________________________________________往ES插入yolo数据成功")
   //   }
   //}
}
// 获取本机ip
@@ -250,3 +383,53 @@
   err = errors.New("ipv4 not found")
   return
}
// 把报警等级转化成汉字
func ChangeToString(i int32) string {
   alarm := ""
   if i == 1 {
      alarm = "一级"
   }
   if i == 2 {
      alarm = "二级"
   }
   if i == 3 {
      alarm = "三级"
   }
   if i == 4 {
      alarm = "四级"
   }
   if i == 5 {
      alarm = "五级"
   }
   return alarm
}
//获取年龄描述
func getDescription(age int32) string {
   ageInfo := "青年"
   if age > 0 && age < 7 {
      ageInfo = "童年"
   } else if age >= 7 && age < 18 {
      ageInfo = "少年"
   } else if age >= 18 && age < 40 {
      ageInfo = "青年"
   } else if age >= 40 && age < 65 {
      ageInfo = "中年"
   } else if age >= 65 {
      ageInfo = "老年"
   }
   return ageInfo
}
func getRaceString(i int32) string {
   race := ""
   if i == 1 {
      race = "白人"
   } else if i == 2 {
      race = "黄人"
   } else {
      race = "黑人"
   }
   return race
}