liuxiaolong
2020-06-05 7c811247ecf143e08c576986a884bedadc57dd66
controllers/es.go
@@ -8,11 +8,9 @@
   "github.com/gin-gonic/gin"
   "math/rand"
   "os/exec"
   "strconv"
   "strings"
   "webserver/cache"
   "webserver/extend/code"
   "webserver/extend/config"
   "webserver/extend/esutil"
   "webserver/extend/util"
   "webserver/models"
@@ -26,6 +24,7 @@
type EsClusterInfo struct {
   Ip string `json:"ip"`
}
// @Security ApiKeyAuth
// @Summary 比对数据查询
// @Description  比对数据查询
@@ -43,103 +42,28 @@
      util.ResponseFormat(c, code.RequestParamError, "参数有误")
      return
   }
   if searchBody.CompareNum !="" {
   if searchBody.CompareNum != "" {
      //二次搜索,不需要再比对了
      co := service.GetCompResultByNum(searchBody.CompareNum)
      if co != nil {
         //二次搜索和排序
         twiceM := GetCompareDataTwice(co,searchBody)
         util.ResponseFormat(c,code.Success,twiceM)
         twiceM := GetCompareDataTwice(co, searchBody)
         util.ResponseFormat(c, code.Success, twiceM)
         return
      } else {
         m :=make(map[string]interface{},0)
         m := make(map[string]interface{}, 0)
         m["compareNum"] = searchBody.CompareNum
         m["total"] = 0
         m["totalList"] = []CompareResult{}
         util.ResponseFormat(c,code.CompareResultGone,m)
         util.ResponseFormat(c, code.CompareResultGone, m)
         return
      }
   }
   m :=make(map[string]interface{},0)
   m := make(map[string]interface{}, 0)
   m["compareNum"] = searchBody.CompareNum
   m["total"] = 0
   m["totalList"] = []CompareResult{}
   util.ResponseFormat(c,code.CompareResultGone,m)
}
func searchEsData(searchBody models.EsSearch) map[string]interface{} {
   //请求索引
   index := config.EsInfo.EsIndex.VideoPersons.IndexName //  wp只查人脸数据
   queryStr := ""
   queryBody := searchBody.InputValue
   //检索框
   if queryBody != "" {
      queryStr = "\"must\":[{\"multi_match\":{\"query\":\"" + queryBody + "\",\"fields\":[\"alarmRules.alarmLevel^1.5\",\"ageDescription^1.5\",\"taskName^1.5\",\"baseInfo.tableName^1.5\",\"sex^2.0\",\"race^2.0\",\"content^1.0\",\"baseInfo.idCard^1.8\",\"cameraAddr^1.0\"]," +
         "\"type\":\"cross_fields\",\"operator\":\"OR\",\"slop\":0,\"prefix_length\":0,\"max_expansions\":50,\"zero_terms_query\":\"NONE\",\"auto_generate_synonyms_phrase_query\":true,\"fuzzy_transpositions\":true,\"boost\":1}}],"
   }
   gteDate := searchBody.SearchTime[0]
   lteDate := searchBody.SearchTime[1]
   //判断任务ID
   taskIdStr := ""
   taskId := searchBody.Tasks
   if taskId != nil && len(taskId) > 0 {
      esTaskId := strings.Replace(strings.Trim(fmt.Sprint(taskId), "[]"), " ", "\",\"", -1)
      taskIdStr = "{\"terms\":{\"taskId\":[\"" + esTaskId + "\"]}},"
   }
   //判断摄像机ID
   cameraIdStr := ""
   cameraId := searchBody.TreeNodes
   if cameraId != nil && len(cameraId) > 0 {
      esCameraId := strings.Replace(strings.Trim(fmt.Sprint(cameraId), "[]"), " ", "\",\"", -1)
      cameraIdStr = "{\"terms\":{\"cameraId\":[\"" + esCameraId + "\"]}},"
   }
   //判断库表ID
   tableId := searchBody.Tabs
   esTableId := ""
   esTableIdStr := ""
   if tableId != nil && len(tableId) > 0 {
      esTableId = strings.Replace(strings.Trim(fmt.Sprint(tableId), "[]"), " ", "\",\"", -1)
      esTableIdStr = "{\"terms\":{\"baseInfo.tableId\":[\"" + esTableId + "\"]}},"
   }
   isCollectionStr := ""
   isCollection := searchBody.Collection
   if isCollection != "" {
      isCollectionStr = "{\"term\":{\"collection\":\"" + isCollection + "\"}},"
   }
   webPage := searchBody.Page
   webSize := searchBody.Size
   from := (webPage - 1) * webSize
   esFrom := strconv.Itoa(from)
   esSize := strconv.Itoa(webSize)
   //使用es底层机制处理分页
   //请求头
   localConf, err2 := cache.GetServerInfo()
   if err2 !=nil || localConf.AlarmIp == "" || localConf.ServerId == "" {
      logger.Debug("localConfig is wrong!!!")
      return nil
   }
   url := "http://" + localConf.AlarmIp + ":" + strconv.Itoa(int(localConf.AlarmPort)) +
      "/" + index + "/_search?search_type=dfs_query_then_fetch"
   analyServerFilterStr := "{\"term\":{\"analyServerId\":\"" + localConf.ServerId + "\"}},"
   //请求体
   prama := "{\"from\":\"" + esFrom + "\",\"size\":\"" + esSize + "\"," +
      //   prama := "{\"size\":\"0\"," +
      "\"query\":{\"bool\":{" + queryStr +
      "\"filter\":[" +
      cameraIdStr +
      taskIdStr +
      isCollectionStr +
      esTableIdStr +
      analyServerFilterStr +
      "{\"range\":{\"picDate\":{\"from\":\"" + gteDate + "\",\"to\":\"" + lteDate + "\",\"include_lower\":true,\"include_upper\":true,\"boost\":1}}}]}}," +
      "\"sort\":[{\"_score\":{\"order\":\"desc\"}},{\"picDate\":{\"order\":\"desc\"}}]," +
      "\"_source\":[\"baseInfo\",\"alarmRules\",\"sex\",\"analyServerName\",\"sdkName\",\"ageDescription\",\"content\",\"id\",\"cameraAddr\",\"picMaxUrl\",\"picDate\",\"race\",\"videoUrl\",\"picSmUrl\",\"taskName\",\"personIsHub\",\"isAlarm\",\"analyServerIp\",\"cameraId\"]}"
   fmt.Println(prama)
   //数据解析
   tokenRes := esutil.GetEsDataReq(url, prama, true)
   return tokenRes
   util.ResponseFormat(c, code.CompareResultGone, m)
}
func sourceCompare(sources []interface{}, isEsSource bool, campareByte []byte, threshold float32) []interface{} {
@@ -163,7 +87,16 @@
   return dataSource
}
//查询ES集群信息-入口
// @Security ApiKeyAuth
// @Summary 查询ES集群信息-入口
// @Description  查询ES集群信息-入口
// @Accept  json
// @Produce json
// @Tags es
// @Param obj body controllers.EsClusterInfo true "查询集群参数"
// @Success 200 {string} json "{"code":200, msg:"", success:true}"
// @Failure 500 {string} json "{"code":500, msg:"", success:false}"
// @Router /data/api-v/es/getEsClusterInfo [POST]
func (em *EsManagementController) GetEsClusterInfo(c *gin.Context) {
   var body EsClusterInfo
   c.BindJSON(&body)
@@ -185,7 +118,7 @@
      util.ResponseFormat(c, code.QueryClusterInfoErr, err)
      return
   }
   util.ResponseFormat(c, code.QueryClusterInfoErr, nodeInfos)
   util.ResponseFormat(c, code.Success, nodeInfos)
}
//查询ES集群信息-业务逻辑
@@ -205,12 +138,12 @@
      nodeInfo := make(map[string]interface{})
      context := strings.Fields(infos[i])
      nodeIp := context[0]
      Type := context[8]
      Type := context[7]
      var nodeType string
      if Type == "*" {
      if Type == "mdi" {
         nodeType = "主节点"
      }
      if Type == "-" {
      if Type == "di" {
         nodeType = "从节点"
      }
      nodeInfo["ip"] = nodeIp
@@ -230,7 +163,15 @@
   return nodeInfos, err
}
//创建节点
// @Security ApiKeyAuth
// @Summary 创建节点
// @Description  创建节点
// @Accept  json
// @Produce json
// @Tags es
// @Success 200 {string} json "{"code":200, msg:"", success:true}"
// @Failure 500 {string} json "{"code":500, msg:"", success:false}"
// @Router /data/api-v/es/createNode [POST]
func (em *EsManagementController) CreateNode(c *gin.Context) {
   msg := "创建节点失败,请联系管理员"
   str := "sh /opt/script/create_first_node.sh"
@@ -241,10 +182,8 @@
   if err != nil {
   }
   infos := strings.Split(string(out.String()), "\n")
   len := len(infos)
   res := infos[len-1]
   if res == "服务启动成功" {
   infos := strings.Split(string(out.String()), "\n")[0]
   if infos == "服务启动成功" {
      msg = "创建节点成功"
      util.ResponseFormat(c, code.Success, msg)
      return
@@ -252,7 +191,16 @@
   util.ResponseFormat(c, code.CreateFirstNodeErr, msg)
}
//加入集群
// @Security ApiKeyAuth
// @Summary 加入集群
// @Description  加入集群
// @Accept  json
// @Produce json
// @Tags es
// @Param obj body controllers.AddCluster true "加入集群参数"
// @Success 200 {string} json "{"code":200, msg:"", success:true}"
// @Failure 500 {string} json "{"code":500, msg:"", success:false}"
// @Router /data/api-v/es/addCluster [POST]
func (em *EsManagementController) AddCluster(c *gin.Context) {
   var ac AddCluster
   err := c.BindJSON(&ac)
@@ -260,7 +208,7 @@
      util.ResponseFormat(c, code.RequestParamError, "参数有误")
      return
   }
   str := "sh /opt/script/create_node.sh " + ac.Option + ""
   str := "sh /opt/script/add_cluster.sh " + ac.Option + ""
   if ac.Option == "1" {
      info, err := updateUnicastHosts(ac.Ip)
      if err != nil || info == false {
@@ -301,8 +249,8 @@
   cmd := exec.Command("sh", "-c", str)
   var out bytes.Buffer
   cmd.Stdout = &out
   err1 := cmd.Run()
   if err1 != nil {
   err := cmd.Run()
   if err != nil {
      return "运行失败"
   }
   return out.String()
@@ -358,6 +306,97 @@
   return msg, err
}
//修改elasticsearch.yml映射文件
// @Security ApiKeyAuth
// @Summary 修改es集群Ip
// @Description  修改es集群Ip
// @Accept  json
// @Produce json
// @Tags es
// @Param obj body controllers.Hosts true "修改es集群Ip参数"
// @Success 200 {string} json "{"code":200, msg:"", success:true}"
// @Failure 500 {string} json "{"code":500, msg:"", success:false}"
// @Router /data/api-v/es/updateEsHosts [POST]
func (em *EsManagementController) UpdateEsHosts(c *gin.Context) {
   flag := "修改成功"
   var hosts Hosts
   c.BindJSON(&hosts)
   nodeInfos, err := getEsClusterInfors(hosts.OldIp)
   var nodeType string
   if err != nil {
      logger.Fatal(err)
      util.ResponseFormat(c, code.QueryClusterInfoErr, err)
   }
   newMasterHosts := make([]string, 0)
   allHosts := make([]string, 0)
   for _, val := range nodeInfos {
      ip := val["ip"].(string)
      tmpType := val["nodeType"].(string)
      if ip == hosts.OldIp {
         nodeType = tmpType
      }
      if tmpType == "主节点" {
         newMasterHosts = append(newMasterHosts, ip)
      }
      if ip != hosts.OldIp {
         allHosts = append(allHosts, ip)
      }
   }
   if nodeType == "主节点" {
      str1 := "sed -ie 's/network.host: " + hosts.OldIp + "/network.host: " + hosts.NewIp + "/g' /opt/elasticsearch/config/elasticsearch.yml"
      msg1 := runScript(str1)
      if msg1 == "运行失败" {
         flag = "修改配置文件失败"
      }
      for i, host := range newMasterHosts {
         if host == hosts.OldIp {
            newMasterHosts[i] = hosts.NewIp
         }
      }
      for i, val := range newMasterHosts {
         val = "\\\"" + val + ":9300\\\""
         newMasterHosts[i] = val
      }
      newUnicastHost := strings.Replace(strings.Trim(fmt.Sprint(newMasterHosts), ""), " ", ",", -1)
      tmpStr := "cat /opt/elasticsearch/config/elasticsearch.yml | grep discovery.zen.ping.unicast.hosts:"
      rs := runScript(tmpStr)
      ts := strings.Split(rs, "\n")[0]
      ots := strings.Split(ts, " ")[1]
      outs := strings.Replace(ots, "\"", "\\\"", -1)
      oldUnicastHost := "\\" + strings.Replace(outs, "]", "\\]", -1)
      str2 := "sed -ie 's/discovery.zen.ping.unicast.hosts: " + oldUnicastHost + "/discovery.zen.ping.unicast.hosts: " + newUnicastHost + "/g' /opt/elasticsearch/config/elasticsearch.yml"
      msg2 := runScript(str2)
      if msg2 == "运行失败" {
         flag = "修改配置文件失败"
      }
      for _, host := range allHosts {
         str3 := "sshpass -p \"123\" ssh basic@" + host + " \"cd /opt/elasticsearch/config  ; " + str2 + " ; cat elasticsearch.yml\""
         msg := runScript(str3)
         if msg == "运行失败" {
            flag = "修改配置文件失败"
         }
      }
   } else {
      str1 := "sed -ie 's/network.host: " + hosts.OldIp + "/network.host: " + hosts.NewIp + "/g' /opt/elasticsearch/config/elasticsearch.yml"
      msg1 := runScript(str1)
      if msg1 == "运行失败" {
         flag = "修改配置文件失败"
      }
   }
   if flag == "修改配置文件失败" {
      util.ResponseFormat(c, code.UpdateFail, flag)
   }
   util.ResponseFormat(c, code.Success, flag)
}
type Hosts struct {
   NewIp string `json:newIp`
   OldIp string `json:oldIp`
}
//func AddEsCluster(hosts []string) (string){
//   msg := "加入失败"
//   for i,val := range hosts{