add log

zhangmeng

2019-12-17 3fc4fa8f8bf65030ee0969d73f958b11d90b7daf

 camera/camera.go

@@ -1,153 +1,228 @@
package camera

import (
   "errors"
   "strings"
   "taskpubsub/sdk"
   "taskpubsub/util"

   "basic.com/dbapi.git"
   "basic.com/pubsub/protomsg.git"
   "basic.com/valib/deliver.git"

   "github.com/long/test/sdk"
   "github.com/long/test/util"

   "context"
   "fmt"
   "sync"
   //"time"
   "basic.com/valib/logger.git"
   "github.com/gogo/protobuf/proto"
)

//var SocketManage = make(map[string]SocketContext)
var SocketManage sync.Map
const (
   faceExtractWebCID    = "virtual-face-extract-web-camera-id"
   faceExtractWebTaskID = "92496BDF-2BFA-98F2-62E8-96DD9866ABD2"
)

var Initchannel = make(chan string)
var SocketManage = make(map[string]util.SocketContext)

type SocketContext struct {
   Sock    deliver.Deliver
   Context context.Context
   Cancel  context.CancelFunc
var shm bool = false

var innerRecvTopic = []string{
   "virtual-faceextract-sdk-pull_2", //to web 以图搜图
}

var camval dbapi.CameraApi
func initInnerTopic() {
   // for _, recvTopic := range innerRecvTopic {
   //    createCameraRecvServerAndListen(recvTopic)
   // }
}

func Init() {
func Init(useShm bool) {
   shm = useShm

   fmt.Println("============ camera info ====================")
   logger.Info("============ camera info ====================")
   for _, cd := range util.CameraIds {
      fmt.Println(cd)
      fmt.Println()
      logger.Info(cd)
      logger.Info()
   }

   go CreateCamera(Initchannel)
   go AutoDelCamera(util.Cameraflag)

   // 摄像机初始化
   for _, cam := range util.CameraIds {
      Initchannel <- cam.Id
      createCameraRecvServerAndListen(cam.Id)
   }

   //文件初始化
   for _, f := range util.FileArr {
      logger.Info(f)
   }
   for _, f := range util.FileArr {
      createCameraRecvServerAndListen(f.Id)
   }

   // 手动输入的主题
   initInnerTopic()

   go autoUpdateCamera(util.Cameraflag)

   go autoUpdateFiles(util.Fileflag)
}

// camera 接受数据
func createCameraRecvServerAndListen(id string) {
   if _, isExist := SocketManage[id]; !isExist { //不存在

      url := "ipc:///tmp/" + id + ".ipc"
      m := deliver.PushPull
      if shm {
         m = deliver.Shm
         url = id

      }

      logger.Info("CAMERA URL : ", url)
      socket, err := util.NewSocketListen(int(m), url, shm)
      if err != nil {
         logger.Error("create socket error")
         return
      }
      SocketManage[id] = socket

      go Recv(socket)
   }
}

func CreateCamera(camera chan string) {
   for camid := range camera {
      if _, ok := SocketManage.Load(camid); !ok {
         url := fmt.Sprintf("ipc:///tmp/%s.ipc", camid)

         id, socketlisten, err := NewCamerSocketListen(deliver.PushPull, camid, url)
         if err != nil {
            fmt.Println("create socket error")
            continue
         }

         go func(cid string, sock SocketContext) {
            Recv(cid, sock)
         }(id, socketlisten)
      }
func deleteCameraRecvServer(id string) {
   if _, isExist := SocketManage[id]; isExist { //存在
      SocketManage[id].Cancel()
      delete(SocketManage, id)
      logger.Info("删除server sdk: ", id)
   }
}

//动态处理
func AutoDelCamera(cameraflag chan bool) {
func autoUpdateCamera(cameraflag chan bool) {

   for _ = range cameraflag {
      fmt.Println("test autodelcameraflag")
      var oldcamera []string
      logger.Info("test autodelcameraflag")
      var oldcameras []string

      SocketManage.Range(func(k, v interface{}) bool {
         if str, ok := k.(string); ok {
            oldcamera = append(oldcamera, str)
      for key := range SocketManage {
         if !strings.HasPrefix(key, util.File_Video_Id_Pre) && !strings.HasPrefix(key, util.File_Audio_Id_Pre) && !strings.HasPrefix(key, util.File_Img_Id_Pre) {
            oldcameras = append(oldcameras, key)
         }
         return true
      })

      var newcamera []string

      for _, value := range util.CameraIds {
         newcamera = append(newcamera, value.Id)
      }

      cameraChanDel := util.Difference(oldcamera, newcamera)
      fmt.Println(cameraChanDel)
      var newcameras []string
      for _, camnew := range util.CameraIds {
         newcameras = append(newcameras, camnew.Id)
      }

      for key, op := range cameraChanDel {
      // 手动添加的全部加上
      for _, recvTopic := range innerRecvTopic {
         newcameras = append(newcameras, recvTopic)
      }

      cameraListUpdate := util.Difference(oldcameras, newcameras)
      logger.Info(cameraListUpdate)

      for key, op := range cameraListUpdate {
         if op == "add" {
            Initchannel <- key
            createCameraRecvServerAndListen(key)
         } else {
            if sock, ok := SocketManage.Load(key); ok {
               if socket, sok := sock.(SocketContext); sok {
                  socket.Cancel()
                  SocketManage.Delete(key)
               }
            }
            fmt.Println("删除camera server : ", key)
            deleteCameraRecvServer(key)
         }
      }
   }
}

// create server
func NewCamerSocketListen(mode int, cameraid string, url string) (cid string, socket SocketContext, err error) {
   ctx, cancel := context.WithCancel(context.Background())
//动态处理文件
func autoUpdateFiles(fileflag chan bool) {

   socket.Context = ctx
   socket.Cancel = cancel
   for _ = range fileflag {
      logger.Info("do auto del fileflag")
      var oldIds []string

   socket.Sock = deliver.NewServer(deliver.Mode(mode), url)
   fmt.Println("new socket.Sock: ", socket.Sock)
      for key := range SocketManage {
         if strings.HasPrefix(key, util.File_Video_Id_Pre) || strings.HasPrefix(key, util.File_Audio_Id_Pre) || strings.HasPrefix(key, util.File_Img_Id_Pre) {
            oldIds = append(oldIds, key)
         }
      }

   if socket.Sock == nil {
      return cameraid, socket, errors.New("create listen error")
      var newIds []string
      for _, f := range util.FileArr {
         newIds = append(newIds, f.Id)
      }

      fileListUpdate := util.Difference(oldIds, newIds)
      logger.Info(fileListUpdate)

      for key, op := range fileListUpdate {
         if op == "add" {
            createCameraRecvServerAndListen(key)
         } else {
            deleteCameraRecvServer(key)
         }
      }
   }
   SocketManage.Store(cameraid, socket)
   return cameraid, socket, nil
}

func Recv(cameraid string, socket SocketContext) {
   var msg []byte
func Recv(socket util.SocketContext) {

   tryCount := 0

   var recvmessage []byte
   var imagemsg protomsg.Image
   var err error
   for {
      select {
      case <-socket.Context.Done():
         fmt.Println("listen recv quit")
         socket.Sock.Close()
         logger.Error("listen recv quit")
         return
      default:
         if msg, err = socket.Sock.Recv(); err != nil {
            fmt.Println("err is: ", cameraid, err)
         if recvmessage, err = socket.Sock.Recv(); err != nil {

            // tryCount++
            // socket = util.MaybeRestartSocket(socket, &tryCount)

            if socket.UseSHM {
               if tryCount > util.ShmMaxTryCount {
                  socket.Sock.Close()
                  socket, err = util.NewSocketListen(socket.Mode, socket.URL, socket.UseSHM)
                  logger.Info("=========CAMERA RECV SHM ERROR=========")
                  logger.Info("CAMERA RECV FROM:", socket.URL, " ERROR ", util.ShmMaxTryCount, " TIMES SO RESTART IT")
                  tryCount = 0
                  continue
               }
               tryCount++
            }
            continue
         }

         unmsg, err := util.UnCompress(recvmessage)
         if err != nil {
            logger.Error(err)
            continue
         }

         if err := proto.Unmarshal(unmsg, &imagemsg); err != nil {
            logger.Error("recv msg is not protomsgImage")
            continue
         }
         if faceExtractWebCID == imagemsg.Cid { //以图搜图
            logger.Info("id: ", faceExtractWebTaskID)
            doTaskList(imagemsg.Cid, "", faceExtractWebTaskID, recvmessage)
         } else {
            fmt.Println()
            fmt.Println("============== one msg input ==========")
            for _, taskid := range GetAlltask(cameraid) {
               //time.Sleep(5 * time.Second)
               fmt.Println("cameraid: ", cameraid, " taskid: ", taskid)
               Taskdolist(cameraid, taskid, msg)
            taskIDs := GetAllTaskByID(imagemsg.Cid)
            for _, taskID := range taskIDs {
               doTaskList(imagemsg.Cid, "", taskID, recvmessage)
            }
         }
      }
   }
}

//   根据cid 获取 所有的任务
func GetAlltask(cid string) (tasks []string) {
//   据cid 获取 所有的任务
func GetAllTaskByID(cid string) (tasks []string) {
   for _, camsingle := range util.CameraTasks {
      if cid == camsingle.Camera.Id {
         for _, tasksingle := range camsingle.Tasks {
            if !tasksingle.Enable {
               continue
            }
            tasks = append(tasks, tasksingle.Taskid)
         }
         return
@@ -156,22 +231,31 @@
   return
}

func Taskdolist(cid string, taskid string, data []byte) {
func doTaskList(cid string, caddr string, taskid string, data []byte) {

   //  数据加工(打标签)
   sdkmsg := sdk.SdkData(cid, taskid, data)
   //logger.Info("taskid: ", taskid, "has ", len(data), "data[]byte")
   sdkmsg := sdk.ToSdkMsg(cid, caddr, taskid, data)
   if sdkmsg.Tasklab == nil {
      fmt.Printf("cid:%s 没有任务%s\n", cid, taskid)
      logger.Error(cid, " not have taskid: ", taskid)
      return
   }

   //  计算分发的主题
   SendTopic := sdk.SdkSendTopic(sdkmsg)
   SendTopic := sdk.GetSdkSendTopic(sdkmsg)
   //logger.Info(SendTopic)
   if "facedetect-sdk-no-track" == SendTopic || "virtual-faceextract-sdk-pull" == SendTopic {
      logger.Info(SendTopic)
   }
   if _, ok := sdk.SdkMap[SendTopic]; ok {
      fmt.Println("分发的主题存在")
      if "facedetect-sdk-no-track" == SendTopic || "virtual-faceextract-sdk-pull" == SendTopic {
         logger.Info(SendTopic)
      }
      sdk.SdkMap[SendTopic] <- sdkmsg
      //fmt.Println("重新开始循环: ", sdk.SdkMap)
      if "facedetect-sdk-no-track" == SendTopic || "virtual-faceextract-sdk-pull" == SendTopic {
         logger.Info("dispute sendtopic success", SendTopic)
      }
   } else {
      fmt.Println("分发的主题不存在")
      logger.Info("分发的主题不存在")
   }
}