add log and fix pubusb

554325746@qq.com

2019-07-22 40d864645ff608e3a81d115fef26bba87954be2c

 camera/camera.go

@@ -1,194 +1,170 @@
package camera

import (
   "github.com/long/test/httpclient"
   "github.com/long/test/sdk"
   "errors"

   "nanomsg.org/go-mangos"
   "nanomsg.org/go-mangos/protocol/pair"
   "nanomsg.org/go-mangos/transport/ipc"
   "nanomsg.org/go-mangos/transport/tcp"
   "basic.com/valib/deliver.git"
    "github.com/long/test/logger"

   "github.com/long/test/sdk"
   "github.com/long/test/util"
    "github.com/gogo/protobuf/proto"
    "basic.com/pubsub/protomsg.git"

   "context"
   "encoding/json"
   "fmt"
   "time"
   "sync"
   //"time"

)

/*
* 1.  获取 cid
* 2.  获取 cid和 taskid关系
* 3.  获取 cid ipc communication
 */
var SocketManage = make(map[string]SocketContext)
var Initchannel = make(chan Camerdata)
var UrlPort = 7000

type Camerdata struct {
   Cameraid string
   Rtsp     string
}
var SocketManage sync.Map

type SocketContext struct {
   Sock    mangos.Socket
   Sock    deliver.Deliver
   Context context.Context
   Cancel  context.CancelFunc
}

func Taskdolist(cid string, taskid string, data []byte) {

   //  数据加工(打标签)
   sdkmsg := sdk.SdkData(cid, taskid, data)
   fmt.Println("============================")

   fmt.Println("sdk  打标签： ", cid, taskid, len(data))

   //  计算分发的主题
   SendTopic := sdk.SdkSendTopic(sdkmsg)
   if _, ok := sdk.SdkMap[SendTopic]; ok {
      fmt.Println("分发的主题存在")
      sdk.SdkMap[SendTopic] <- sdkmsg
      //fmt.Println("重新开始循环: ", sdk.SdkMap)
   } else {
      fmt.Println("分发的主题不存在")
   }

}

func Init() {

   CameraRelative()
   fmt.Println()
   fmt.Println("cid,taskid , sid: ", CtsId)

   _, socket, err := NewCamerSocketListen("init", "tcp", "192.168.1.124", 0)
   if err != nil {
      return
   logger.Info("============ camera info ====================")
   for _, cd := range util.CameraIds {
      logger.Info(cd)
      logger.Info()
   }

   go SendRecv(socket, Initchannel)

   var cameratodecode Camerdata
   for {
      time.Sleep(2 * time.Second)
      i := 0
      for _, cam := range CtsId {

         if i < 2 {
            cameratodecode.Cameraid = cam.Cameraid
            cameratodecode.Rtsp = cam.RtspUrl
            Initchannel <- cameratodecode
         }
         i++
      }
    // 摄像机初始化
   for _, cam := range util.CameraIds {
        CreateCamera(cam.Id, "camera")
   }

    //  web端初始化
    CreateCamera("virtual-faceextract-sdk-pull_2" , "web")

   go AutoDelCamera(util.Cameraflag)
}

func Recv(cameraid string, socket SocketContext) {
   socket.Sock.SetOption(mangos.OptionRecvDeadline, 5*time.Second)
   var msg []byte
   var err error
   for {
      select {
      case <-socket.Context.Done():
         fmt.Println("listen recv quit")
         return
      default:
         if msg, err = socket.Sock.Recv(); err != nil {
            //fmt.Printf("%s ", err)
            continue
// camera 接受数据
func CreateCamera(id string, remote string) {
      if _, ok := SocketManage.Load(id); !ok {
         url := fmt.Sprintf("ipc:///tmp/%s.ipc", id)

         socketlisten, err := NewCamerSocketListen(deliver.PushPull, id, url)
         if err != nil {
            logger.Error("create socket error")
                return 
         }
        
          go Recv(socketlisten, remote)
      }
}

//动态处理
func AutoDelCamera(cameraflag chan bool) {

   for _ = range cameraflag {
      logger.Info("test autodelcameraflag")
      var oldcamera []string

      SocketManage.Range(func(k, v interface{}) bool {
         if str, ok := k.(string); ok {
            oldcamera = append(oldcamera, str)
         }
         return true
      })

        var newcamera []string
        
        for _, camnew := range util.CameraIds {
            newcamera = append(newcamera, camnew.Id) 
        }
        newcamera = append(newcamera, "virtual-faceextract-sdk-pull_2")


      cameraChanDel := util.Difference(oldcamera, newcamera)
      logger.Info(cameraChanDel)

      for key, op := range cameraChanDel {
         if op == "add" {
               CreateCamera(key, "camera") 
               logger.Info("add new camera id=========================", key)
         } else {
            for _, taskid := range GetAlltask(cameraid) {
               Taskdolist(cameraid, taskid, msg)
               fmt.Println("receive: ", len(msg), "cameraid: ", cameraid, "taskid: ", taskid)
            if sock, ok := SocketManage.Load(key); ok {
               if socket, sok := sock.(SocketContext); sok {
                  socket.Cancel()
                  SocketManage.Delete(key)
               }
            }
            logger.Info("删除camera server : ", key)
         }
      }
   }
}

func send(socket SocketContext, cam Camerdata) {
   b, err := json.Marshal(cam)
   if err != nil {
      fmt.Println("can not json convert !", cam)
   }
   if err := socket.Sock.Send(b); err != nil {
      fmt.Println("failed send")
   }
}

func SendRecv(socket SocketContext, camera chan Camerdata) {
   socket.Sock.SetOption(mangos.OptionRecvDeadline, 5*time.Second)
   for cam := range camera {
      send(socket, cam)
      if _, ok := SocketManage[cam.Cameraid]; !ok {
         go func(id string) {
            fmt.Println("create cid server: ", id)
            cid, socketlisten, _ := NewCamerSocketListen(id, "tcp", "192.168.1.124", 0)
            fmt.Println("input id: ", id, " output id :", cid)
            Recv(cid, socketlisten)

         }(cam.Cameraid)
      }
   }
}

// new camera server
func NewCamerSocketListen(cameraid string, protocol string, ip string, port int) (cid string, socket SocketContext, err error) {

// create server
func NewCamerSocketListen(mode int, cameraid string, url string) (socket SocketContext, err error) {
   ctx, cancel := context.WithCancel(context.Background())

   var url string

   socket.Context = ctx
   socket.Cancel = cancel

   switch protocol {
   case "tcp":
      if port == 0 {
         port = UrlPort
         UrlPort++
   socket.Sock = deliver.NewServer(deliver.Mode(mode), url)
   logger.Info("new socket.Sock: ", socket.Sock)

   if socket.Sock == nil {
      return socket, errors.New("create listen error")
   }
   SocketManage.Store(cameraid, socket)
   return socket, nil
}

func Recv(socket SocketContext, remote string ) {

    var recvmessage []byte
    var imagemsg  protomsg.Image
    var err error
   for {
      select {
      case <-socket.Context.Done():
         logger.Error("listen recv quit")
         return
      default:
         if recvmessage, err = socket.Sock.Recv(); err != nil {
            //logger.Error("[camera] err is: ", err)
            continue
         }

            unmsg, err := util.UnCompress(recvmessage)
            if err != nil {
                logger.Error(err)
                continue
            }

            if  err := proto.Unmarshal(unmsg,&imagemsg);  err != nil {
               logger.Error("recv msg is not protomsgImage") 
               continue
            }

            switch remote {
               case "camera":
                    for _, taskid := range GetAlltask(imagemsg.Cid) {
                        //time.Sleep(5 * time.Second)
                        logger.Debug("id: ", imagemsg.Cid, " taskid: ", taskid)
                        Taskdolist(imagemsg.Cid, "", taskid, recvmessage)
                  }
               case  "web":
                        logger.Debug("id: ", imagemsg.Cid , " taskid: ", "92496BDF-2BFA-98F2-62E8-96DD9866ABD2")
                        Taskdolist(imagemsg.Cid,"", "92496BDF-2BFA-98F2-62E8-96DD9866ABD2", recvmessage)
           }
      }
      url = fmt.Sprintf("%s://%s:%d", protocol, ip, port)
   case "ipc":
      url = fmt.Sprintf("%s://%s", cameraid)
   }
   fmt.Println(url)

   if socket.Sock, err = pair.NewSocket(); err != nil {
      fmt.Println(cameraid, "can't get new pair socket: ", err.Error())
      return cameraid, socket, err
   }
   socket.Sock.AddTransport(tcp.NewTransport())
   socket.Sock.AddTransport(ipc.NewTransport())

   socket.Sock.SetOption(mangos.OptionMaxRecvSize, 32*1024*1024)
   socket.Sock.SetOption(mangos.OptionWriteQLen, 10)
   socket.Sock.SetOption(mangos.OptionReadQLen, 10)

   if err = socket.Sock.Listen(url); err != nil {
      fmt.Println("socket lisnte error ", cameraid)
   }
   fmt.Println(cameraid, "success")

   SocketManage[cameraid] = socket

   return cameraid, socket, err
}

// 获取 cid ， taskid, sdkid 关系
var CtsId []httpclient.Camerasingle

func CameraRelative() {
   CtsId = httpclient.GetEsDataReq("http://127.0.0.1:8000/data/api-v/camera/queryCameraAndTaskInfo")
}

//   根据cid 获取 所有的任务
//   据cid 获取 所有的任务
func GetAlltask(cid string) (tasks []string) {
   for _, camsingle := range CtsId {
      if cid == camsingle.Cameraid {
         for _, tasksingle := range camsingle.TaskList {
   for _, camsingle := range util.CameraTasks {
      if cid == camsingle.Camera.Id {
         for _, tasksingle := range camsingle.Tasks {
            tasks = append(tasks, tasksingle.Taskid)
         }
         return
@@ -196,3 +172,24 @@
   }
   return
}

func Taskdolist(cid string, caddr string,  taskid string, data []byte) {

   //  数据加工(打标签)
    logger.Debug("taskid: ",taskid, "has ", len(data), "data[]byte")
   sdkmsg := sdk.SdkData(cid, caddr, taskid, data)
   if sdkmsg.Tasklab == nil {
        logger.Error(cid, " not have taskid: ", taskid )
      return
   }

   //  计算分发的主题
   SendTopic := sdk.SdkSendTopic(sdkmsg)
    logger.Debug(SendTopic)
   if _, ok := sdk.SdkMap[SendTopic]; ok {
      sdk.SdkMap[SendTopic] <- sdkmsg
         logger.Debug("dispute sendtopic success", SendTopic)
   } else {
      logger.Debug("分发的主题不存在")
   }
}