测试 场景分析 bug

zhaoqingang

2025-02-10 9f1b86b7f2732432aed2c13165c95812e57d4f49

 models/locationAnalysis.go

@@ -28,6 +28,7 @@
   KeyPersonType  string       // 人员类型
   PersonLabel    string       // 人员标签
   PersonIdentity []string     // 人员身份
   KeyTypes       []string     // 人员身份
   Duration       int          // 时间范围
   Appearances    int          // 出现次数,
   StartTime      int          // 时间范围, 开始时间
@@ -54,15 +55,19 @@
   m.Building = task.Building
   m.AlarmType = task.AlarmType
   m.PersonIdentity = []string{"stranger", "visitor", "resident"} //task.IdentityType
   m.KeyTypes = []string{"1", "2", "3", "4", "5"}                 //task.IdentityType
   m.KeyPersonType = task.PersonType
   m.PersonLabel = task.PersonLabel
   if task.IdentityType != "" {
      m.PersonIdentity = strings.Split(task.IdentityType, ",")
   }

   if len(m.AreaIds) == 0 {
      m.AreaIds = m.OrgIds
   if task.PersonType != "" {
      m.KeyTypes = strings.Split(task.PersonType, ",")
   }

   //if len(m.AreaIds) == 0 {
   //   m.AreaIds = m.OrgIds
   //}
   for _, v := range task.Rules {
      if v.Alias == "appearances" {
         if val, ok := v.Value.(float64); ok {
@@ -128,9 +133,13 @@
   // 根据配置的时间段天数, 每天的时间范围内， 重点人员类型或者特定标签人员出现的楼层次数超过阈值

   results := make([]*db.ModelTaskResults, 0)
   var baseFilter, labelFilter, keyFilter, lastFilter []LocationPersonInfo
   var baseFilter, labelFilter, keyFilter []LocationPersonInfo
   var document_number_map = make(map[string]LocationPersonInfo)
   var document_number_list []string
   community_ids := m.AreaIds
   if len(community_ids) == 0 {
      community_ids = m.OrgIds
   }
   err := db.GetDB().Raw(`
      SELECT
          p.id,
@@ -143,7 +152,7 @@
         p.id_card != "" 
         AND (s.community_id IN ? OR s.org_id IN ?)
         AND s.status IN ?
      `, m.AreaIds, m.OrgIds, m.PersonIdentity).Scan(&baseFilter).Error
      `, community_ids, m.OrgIds, m.PersonIdentity).Scan(&baseFilter).Error
   if err != nil {
      logger.Warnf(err.Error())
   }
@@ -181,17 +190,13 @@
      }

      logger.Debugf("task %s match label result %d", m.Task.Name, len(labelFilter))
      document_number_list = []string{}
      for _, i := range labelFilter {
         document_number_list = append(document_number_list, i.Id)
      }
   }

   document_number_list = []string{}
   for _, i := range labelFilter {

      document_number_list = append(document_number_list, i.Id)

   }

   if m.KeyPersonType != "" {
      keyTypes := strings.Split(m.KeyPersonType, ",")
   if len(m.KeyTypes) > 0 {
      //keyTypes := strings.Split(m.KeyPersonType, ",")
      err := db.GetDB().Raw(`
      SELECT
         p.id,
@@ -202,18 +207,16 @@
      WHERE
         p.id IN ?
         AND k.person_type IN ?
      `, document_number_list, keyTypes).Scan(&keyFilter).Error
      `, document_number_list, m.KeyTypes).Scan(&keyFilter).Error
      if err != nil {
         logger.Warnf(err.Error())
      }
      if len(keyFilter) == 0 {
         return fmt.Errorf("no results found that match the key condition %s", m.KeyPersonType)
         return fmt.Errorf("no results found that match the key condition%s------ %s", document_number_list, m.KeyTypes)
      }

      logger.Debugf("task %s match key person result %d", m.Task.Name, len(keyFilter))
   }

   logger.Debugf("task %s last result %d", m.Task.Name, len(lastFilter))
   //logger.Debugf("task %s last result %d", m.Task.Name, len(lastFilter))
   document_number_list = []string{}
   for _, i := range keyFilter {
      document_number_list = append(document_number_list, i.Id)
@@ -221,10 +224,12 @@
      person.PersonType = i.PersonType
      document_number_map[i.DocumentNumber] = person
   }
   logger.Debugf("document_number_list %s last result %s", m.Task.Name, document_number_list)
   records, err := queryEsLocation(db.GetEsClient(), m, document_number_list)
   if err != nil {
      return err
   }
   logger.Debugf("records %s last result %s", m.Task.Name, records)
   domains, err := domainToLocation(records)
   if err != nil {
      return err
@@ -277,8 +282,8 @@

func queryEsLocation(esClient *elasticsearch.Client, locationModel *LocationModel, documentNumbers []string) ([]*LocationRecord, error) {
   var buf bytes.Buffer
   nowTime := time.Now()
   startTime := nowTime.Add(-time.Duration(locationModel.Duration) * 24 * time.Hour)
   //nowTime := time.Now()
   //startTime := nowTime.Add(-time.Duration(locationModel.Duration) * 24 * time.Hour)

   // 构建过滤条件
   var filters []map[string]interface{}
@@ -338,20 +343,20 @@
   //      },
   //   },
   //})
   for date := startTime; date.Before(nowTime); date = date.Add(24 * time.Hour) {
      start := time.Date(date.Year(), date.Month(), date.Day(), locationModel.StartTime, 0, 0, 0, date.Location())
      end := time.Date(date.Year(), date.Month(), date.Day(), locationModel.EndTime, 0, 0, 0, date.Location())

      filters = append(filters, map[string]interface{}{
         "range": map[string]interface{}{
            "picDate": map[string]interface{}{
               "gte": start.Format(time.RFC3339),
               "lte": end.Format(time.RFC3339),
            },
         },
      })
   }

   //for date := startTime; date.Before(nowTime); date = date.Add(24 * time.Hour) {
   //   start := time.Date(date.Year(), date.Month(), date.Day(), locationModel.StartTime, 0, 0, 0, date.Location())
   //   end := time.Date(date.Year(), date.Month(), date.Day(), locationModel.EndTime, 0, 0, 0, date.Location())
   //
   //   filters = append(filters, map[string]interface{}{
   //      "range": map[string]interface{}{
   //         "picDate": map[string]interface{}{
   //            "gte": start.Format("2006-01-02 15:04:05"),
   //            "lte": end.Format("2006-01-02 15:04:05"),
   //         },
   //      },
   //   })
   //}
   //logger.Debugf("filters--------------------------------------- %s", filters)
   query := map[string]interface{}{
      "query": map[string]interface{}{
         "bool": map[string]interface{}{
@@ -414,6 +419,14 @@
      "size": 0,
   }

   //query = map[string]interface{}{
   //   "query": map[string]interface{}{
   //      "bool": map[string]interface{}{
   //         "filter": filters,
   //      },
   //   },
   //   "size": 10000,
   //}
   if err := json.NewEncoder(&buf).Encode(query); err != nil {
      return nil, fmt.Errorf("error encoding query: %s", err)
   }
@@ -440,29 +453,57 @@
   if err := json.NewDecoder(res.Body).Decode(&result); err != nil {
      return nil, fmt.Errorf("error parsing response body: %s", err)
   }

   logger.Debugf("ressss--------------------------------------- %s", result)
   // 解析聚合结果
   var records []*LocationRecord
   //dat, ok := result["hits"].(map[string]interface{})

   //dat := result["hits"].(map[string]interface{})
   //
   //var data = make(map[string]interface{}, 2)
   //
   //tmp, b := dat["total"].(map[string]interface{})
   //if b != true {
   //   data["total"] = dat["total"].(float64)
   //} else {
   //   data["total"] = tmp["value"].(float64)
   //}
   //sources := []interface{}{}
   //for _, value := range dat["hits"].([]interface{}) {
   //   sourceData := value.(map[string]interface{})
   //   source := sourceData["_source"].(map[string]interface{})
   //   source["_id"] = sourceData["_id"]
   //   /*sdkType := source["sdkType"]
   //   if sdkType != nil {
   //      sdk, _ := strconv.Atoi(sdkType.(string))
   //      source["sdkType"] = sdkTypeToValue(sdk)
   //   }*/
   //   sources = append(sources, source)
   //}
   //data["datalist"] = sources
   //logger.Debugf("ressss--------------data------------------------- %s", data)
   if aggs, ok := result["aggregations"].(map[string]interface{}); ok {
      if orgBuckets, ok := aggs["orgs"].(map[string]interface{})["buckets"].([]interface{}); ok {
         for _, orgBucket := range orgBuckets {
            orgId := orgBucket.(map[string]interface{})["key"].(string)

            logger.Debugf("orgId--------------------------------------- %s", orgId)
            // 解析按communityId的聚合结果
            if communityBuckets, ok := orgBucket.(map[string]interface{})["community"].(map[string]interface{})["buckets"].([]interface{}); ok {
               for _, communityBucket := range communityBuckets {
                  communityId := communityBucket.(map[string]interface{})["key"].(string)

                  logger.Debugf("communityId--------------------------------------- %s", communityId)
                  // 解析按building的聚合结果
                  if locationBuckets, ok := communityBucket.(map[string]interface{})["location"].(map[string]interface{})["buckets"].([]interface{}); ok {
                     for _, locationBucket := range locationBuckets {
                        building := locationBucket.(map[string]interface{})["key"].(string)

                        logger.Debugf("building--------------------------------------- %s", building)
                        // 解析按floor的聚合结果
                        if floorBuckets, ok := locationBucket.(map[string]interface{})["floor"].(map[string]interface{})["buckets"].([]interface{}); ok {
                           for _, floorBucket := range floorBuckets {
                              floor := floorBucket.(map[string]interface{})["key"].(string)
                              logger.Debugf("floor--------------------------------------- %s -----%s ", floor, floorBucket)
                              appearCount := floorBucket.(map[string]interface{})["filter_floor"].(int)
                              logger.Debugf("appearCount--------------------------------------- %s- --", appearCount)
                              // 构建 LocationRecord 结构体
                              var persons []string
                              if docNumBuckets, ok := floorBucket.(map[string]interface{})["document_numbers"].(map[string]interface{})["buckets"].([]interface{}); ok {
@@ -470,6 +511,8 @@
                                    persons = append(persons, docNumBucket.(map[string]interface{})["key"].(string))
                                 }
                              }

                              //logger.Debugf("floor--------------------------------------- %s-- %s --", floor, appearCount)
                              record := &LocationRecord{
                                 //PicDate:        timestamp,
                                 DocumentNumbers: persons,