update

zhangmeng

2019-12-16 93c3c5e031eb1ca0960c2cf69d81423875b553c7

 camera/camera.go

@@ -1,170 +1,227 @@
package camera

import (
   "errors"
   "strings"
   "taskpubsub/sdk"
   "taskpubsub/util"

   "basic.com/pubsub/protomsg.git"
   "basic.com/valib/deliver.git"
    "github.com/long/test/logger"

   "github.com/long/test/sdk"
   "github.com/long/test/util"
    "github.com/gogo/protobuf/proto"
    "basic.com/pubsub/protomsg.git"

   "context"
   "fmt"
   "sync"
   //"time"

   "basic.com/valib/logger.git"
   "github.com/gogo/protobuf/proto"
)

var SocketManage sync.Map
const (
   faceExtractWebCID    = "virtual-face-extract-web-camera-id"
   faceExtractWebTaskID = "92496BDF-2BFA-98F2-62E8-96DD9866ABD2"
)

type SocketContext struct {
   Sock    deliver.Deliver
   Context context.Context
   Cancel  context.CancelFunc
var SocketManage = make(map[string]util.SocketContext)

var shm bool = false

var innerRecvTopic = []string{
   "virtual-faceextract-sdk-pull_2", //to web 以图搜图
}

func Init() {
func initInnerTopic() {
   // for _, recvTopic := range innerRecvTopic {
   //    createCameraRecvServerAndListen(recvTopic)
   // }
}

func Init(useShm bool) {
   shm = useShm

   logger.Info("============ camera info ====================")
   for _, cd := range util.CameraIds {
      logger.Info(cd)
      logger.Info()
   }

    // 摄像机初始化
   // 摄像机初始化
   for _, cam := range util.CameraIds {
        CreateCamera(cam.Id, "camera")
      createCameraRecvServerAndListen(cam.Id)
   }

    //  web端初始化
    CreateCamera("virtual-faceextract-sdk-pull_2" , "web")
   //文件初始化
   for _, f := range util.FileArr {
      logger.Info(f)
   }
   for _, f := range util.FileArr {
      createCameraRecvServerAndListen(f.Id)
   }

   go AutoDelCamera(util.Cameraflag)
   // 手动输入的主题
   initInnerTopic()

   go autoUpdateCamera(util.Cameraflag)

   go autoUpdateFiles(util.Fileflag)
}

// camera 接受数据
func CreateCamera(id string, remote string) {
      if _, ok := SocketManage.Load(id); !ok {
         url := fmt.Sprintf("ipc:///tmp/%s.ipc", id)
func createCameraRecvServerAndListen(id string) {
   if _, isExist := SocketManage[id]; !isExist { //不存在

         socketlisten, err := NewCamerSocketListen(deliver.PushPull, id, url)
         if err != nil {
            logger.Error("create socket error")
                return 
         }
        
          go Recv(socketlisten, remote)
      url := "ipc:///tmp/" + id + ".ipc"
      m := deliver.PushPull
      if shm {
         m = deliver.Shm
         url = id

      }

      logger.Info("CAMERA URL : ", url)
      socket, err := util.NewSocketListen(int(m), url, shm)
      if err != nil {
         logger.Error("create socket error")
         return
      }
      SocketManage[id] = socket

      go Recv(socket)
   }
}

func deleteCameraRecvServer(id string) {
   if _, isExist := SocketManage[id]; isExist { //存在
      SocketManage[id].Cancel()
      delete(SocketManage, id)
      logger.Info("删除server sdk: ", id)
   }
}

//动态处理
func AutoDelCamera(cameraflag chan bool) {
func autoUpdateCamera(cameraflag chan bool) {

   for _ = range cameraflag {
      logger.Info("test autodelcameraflag")
      var oldcamera []string
      var oldcameras []string

      SocketManage.Range(func(k, v interface{}) bool {
         if str, ok := k.(string); ok {
            oldcamera = append(oldcamera, str)
      for key := range SocketManage {
         if !strings.HasPrefix(key, util.File_Video_Id_Pre) && !strings.HasPrefix(key, util.File_Audio_Id_Pre) && !strings.HasPrefix(key, util.File_Img_Id_Pre) {
            oldcameras = append(oldcameras, key)
         }
         return true
      })
      }

        var newcamera []string
        
        for _, camnew := range util.CameraIds {
            newcamera = append(newcamera, camnew.Id) 
        }
        newcamera = append(newcamera, "virtual-faceextract-sdk-pull_2")
      var newcameras []string
      for _, camnew := range util.CameraIds {
         newcameras = append(newcameras, camnew.Id)
      }

      // 手动添加的全部加上
      for _, recvTopic := range innerRecvTopic {
         newcameras = append(newcameras, recvTopic)
      }

      cameraChanDel := util.Difference(oldcamera, newcamera)
      logger.Info(cameraChanDel)
      cameraListUpdate := util.Difference(oldcameras, newcameras)
      logger.Info(cameraListUpdate)

      for key, op := range cameraChanDel {
      for key, op := range cameraListUpdate {
         if op == "add" {
               CreateCamera(key, "camera") 
               logger.Info("add new camera id=========================", key)
            createCameraRecvServerAndListen(key)
         } else {
            if sock, ok := SocketManage.Load(key); ok {
               if socket, sok := sock.(SocketContext); sok {
                  socket.Cancel()
                  SocketManage.Delete(key)
               }
            }
            logger.Info("删除camera server : ", key)
            deleteCameraRecvServer(key)
         }
      }
   }
}

// create server
func NewCamerSocketListen(mode int, cameraid string, url string) (socket SocketContext, err error) {
   ctx, cancel := context.WithCancel(context.Background())
//动态处理文件
func autoUpdateFiles(fileflag chan bool) {

   socket.Context = ctx
   socket.Cancel = cancel
   for _ = range fileflag {
      logger.Info("do auto del fileflag")
      var oldIds []string

   socket.Sock = deliver.NewServer(deliver.Mode(mode), url)
   logger.Info("new socket.Sock: ", socket.Sock)
      for key := range SocketManage {
         if strings.HasPrefix(key, util.File_Video_Id_Pre) || strings.HasPrefix(key, util.File_Audio_Id_Pre) || strings.HasPrefix(key, util.File_Img_Id_Pre) {
            oldIds = append(oldIds, key)
         }
      }

   if socket.Sock == nil {
      return socket, errors.New("create listen error")
      var newIds []string
      for _, f := range util.FileArr {
         newIds = append(newIds, f.Id)
      }

      fileListUpdate := util.Difference(oldIds, newIds)
      logger.Info(fileListUpdate)

      for key, op := range fileListUpdate {
         if op == "add" {
            createCameraRecvServerAndListen(key)
         } else {
            deleteCameraRecvServer(key)
         }
      }
   }
   SocketManage.Store(cameraid, socket)
   return socket, nil
}

func Recv(socket SocketContext, remote string ) {
func Recv(socket util.SocketContext) {

    var recvmessage []byte
    var imagemsg  protomsg.Image
    var err error
   tryCount := 0

   var recvmessage []byte
   var imagemsg protomsg.Image
   var err error
   for {
      select {
      case <-socket.Context.Done():
         socket.Sock.Close()
         logger.Error("listen recv quit")
         return
      default:
         if recvmessage, err = socket.Sock.Recv(); err != nil {
            //logger.Error("[camera] err is: ", err)

            // tryCount++
            // socket = util.MaybeRestartSocket(socket, &tryCount)

            if socket.UseSHM {
               if tryCount > util.ShmMaxTryCount {
                  socket.Sock.Close()
                  socket, err = util.NewSocketListen(socket.Mode, socket.URL, socket.UseSHM)
                  logger.Info("SDK SEND SHM TRY :", util.ShmMaxTryCount, " RESTART IT")
                  tryCount = 0
                  continue
               }
               tryCount++
            }
            continue
         }

            unmsg, err := util.UnCompress(recvmessage)
            if err != nil {
                logger.Error(err)
                continue
            }
         unmsg, err := util.UnCompress(recvmessage)
         if err != nil {
            logger.Error(err)
            continue
         }

            if  err := proto.Unmarshal(unmsg,&imagemsg);  err != nil {
               logger.Error("recv msg is not protomsgImage") 
               continue
            }

            switch remote {
               case "camera":
                    for _, taskid := range GetAlltask(imagemsg.Cid) {
                        //time.Sleep(5 * time.Second)
                        logger.Debug("id: ", imagemsg.Cid, " taskid: ", taskid)
                        Taskdolist(imagemsg.Cid, "", taskid, recvmessage)
                  }
               case  "web":
                        logger.Debug("id: ", imagemsg.Cid , " taskid: ", "92496BDF-2BFA-98F2-62E8-96DD9866ABD2")
                        Taskdolist(imagemsg.Cid,"", "92496BDF-2BFA-98F2-62E8-96DD9866ABD2", recvmessage)
           }
         if err := proto.Unmarshal(unmsg, &imagemsg); err != nil {
            logger.Error("recv msg is not protomsgImage")
            continue
         }
         if faceExtractWebCID == imagemsg.Cid { //以图搜图
            logger.Info("id: ", faceExtractWebTaskID)
            doTaskList(imagemsg.Cid, "", faceExtractWebTaskID, recvmessage)
         } else {
            taskIDs := GetAllTaskByID(imagemsg.Cid)
            for _, taskID := range taskIDs {
               doTaskList(imagemsg.Cid, "", taskID, recvmessage)
            }
         }
      }
   }
}

//   据cid 获取 所有的任务
func GetAlltask(cid string) (tasks []string) {
func GetAllTaskByID(cid string) (tasks []string) {
   for _, camsingle := range util.CameraTasks {
      if cid == camsingle.Camera.Id {
         for _, tasksingle := range camsingle.Tasks {
            if !tasksingle.Enable {
               continue
            }
            tasks = append(tasks, tasksingle.Taskid)
         }
         return
@@ -173,23 +230,31 @@
   return
}

func Taskdolist(cid string, caddr string,  taskid string, data []byte) {
func doTaskList(cid string, caddr string, taskid string, data []byte) {

   //  数据加工(打标签)
    logger.Debug("taskid: ",taskid, "has ", len(data), "data[]byte")
   sdkmsg := sdk.SdkData(cid, caddr, taskid, data)
   //logger.Info("taskid: ", taskid, "has ", len(data), "data[]byte")
   sdkmsg := sdk.ToSdkMsg(cid, caddr, taskid, data)
   if sdkmsg.Tasklab == nil {
        logger.Error(cid, " not have taskid: ", taskid )
      logger.Error(cid, " not have taskid: ", taskid)
      return
   }

   //  计算分发的主题
   SendTopic := sdk.SdkSendTopic(sdkmsg)
    logger.Debug(SendTopic)
   SendTopic := sdk.GetSdkSendTopic(sdkmsg)
   //logger.Info(SendTopic)
   if "facedetect-sdk-no-track" == SendTopic || "virtual-faceextract-sdk-pull" == SendTopic {
      logger.Info(SendTopic)
   }
   if _, ok := sdk.SdkMap[SendTopic]; ok {
      if "facedetect-sdk-no-track" == SendTopic || "virtual-faceextract-sdk-pull" == SendTopic {
         logger.Info(SendTopic)
      }
      sdk.SdkMap[SendTopic] <- sdkmsg
         logger.Debug("dispute sendtopic success", SendTopic)
      if "facedetect-sdk-no-track" == SendTopic || "virtual-faceextract-sdk-pull" == SendTopic {
         logger.Info("dispute sendtopic success", SendTopic)
      }
   } else {
      logger.Debug("分发的主题不存在")
      logger.Info("分发的主题不存在")
   }
}