update

zhangmeng

2019-12-05 e87bc90683436ee856c1d14ecab1f16940a20471

 sdk/sdk.go

@@ -1,258 +1,305 @@
package sdk

import (
   "context"
   "errors"
   "fmt"
   "taskpubsub/tasktag"
   "taskpubsub/util"

   //   "github.com/long/test/httpclient"
   "github.com/long/test/tasktag"
   "github.com/long/test/util"
    "github.com/gogo/protobuf/proto"
   "github.com/gogo/protobuf/proto"

   "basic.com/pubsub/protomsg.git"
   "basic.com/valib/deliver.git"
   "basic.com/valib/logger.git"
)

const (
   postPull = "_1.ipc"
   postPush = "_2.ipc"
   postPush = "_1"
   postPull = "_2"
)

var SocketManage = make(map[string]SocketContext)
var SocketManage = make(map[string]util.SocketContext)
var SdkMap = make(map[string]chan protomsg.SdkMessage)

type SocketContext struct {
   Sock    deliver.Deliver
   Context context.Context
   Cancel  context.CancelFunc
var shm bool = false

var innerRecvTopic = []string{
   "facedetect-sdk-no-track", //to sdk-no-track 以图搜图
}

func Init() {
var innerSendTopic = []string{
   "facedetect-sdk-no-track",      //to sdk-no-track 以图搜图
   "virtual-faceextract-sdk-pull", //to web 以图搜图
}

   fmt.Println("============= init sdk info =====================")
func initInnerTopic() {
   // for _, sendTopic := range innerSendTopic {
   //    createSdkSendServerAndListen(sendTopic)
   // }

   // for _, recvTopic := range innerRecvTopic {
   //    createSdkRecvServerAndListen(recvTopic)
   // }
}

func Init(useShm bool) {

   shm = useShm

   logger.Info("============= init sdk info =====================")
   for _, sdkid := range util.Sdklist { // 创建sdk server
      CreatesdkTopicandServer(sdkid)
      fmt.Println()
      createSdkTopicAndServer(sdkid)
      logger.Info()
   }

    // 手动输入的主题
   // 手动输入的主题
   initInnerTopic()

   // es
   SdkMap["es"] = make(chan protomsg.SdkMessage)
   fmt.Println("create es channel: ")
   logger.Info("create es channel: ")
   go DealEsTopic()

    SdkMap["virtual-faceextract-sdk-pull"] = make(chan protomsg.SdkMessage)
   fmt.Println("create virtual-faceextract-sdk-pull")

    Createwebserver("virtual-faceextract-sdk-pull")

   go Dealextern()
   go AutoDelSdk(util.Sdkflag)
   go autoUpdateSdk(util.Sdkflag)
}

func CreatesdkTopicandServer(sdkid string) {

   SdkMap[sdkid] = make(chan protomsg.SdkMessage)
   fmt.Println("create sdk channel:  ", sdkid)

   url := fmt.Sprintf("ipc:///tmp/%s%s", sdkid, postPull)
   socketser, err := NewSdkSocketListen(deliver.PushPull, sdkid, url)
   if err != nil {
        delete(SdkMap, sdkid)
      fmt.Println(sdkid, "create server error!")
      return
   }


   go Send(sdkid, socketser, SdkMap[sdkid])

   url = fmt.Sprintf("ipc:///tmp/%s%s", sdkid, postPush)
   socketdial, err := NewSdkSocketListen(deliver.PushPull, sdkid, url)
   if err != nil {
        delete(SdkMap, sdkid)
      fmt.Println(sdkid, "create dial error!")
      return
   }
   go Recv(socketdial)

func createSdkTopicAndServer(sdkid string) {
   createSdkSendServerAndListen(sdkid)
   createSdkRecvServerAndListen(sdkid)
}

// web 接受端处理
func Createwebserver(webid string ){
    url := fmt.Sprintf("ipc:///tmp/%s%s", webid, postPull)
   socketser, err := NewSdkSocketListen(deliver.PushPull, webid, url)
   if err != nil {
      fmt.Println(webid, "create server error!")
      return
func deleteSdkTopicAndServer(id string) {
   if _, isExist := SdkMap[id]; isExist { //存在
      close(SdkMap[id])
      delete(SdkMap, id)
      logger.Info("删除主题 sdk: ", id)
   }
   go Send(webid, socketser, SdkMap[webid])

   if _, isExist := SocketManage[id]; isExist { //存在
      SocketManage[id].Cancel()
      delete(SocketManage, id)
      logger.Info("删除server sdk: ", id)
   }
}

func DeletesdkTopicandServer(sdkid string) {
   close(SdkMap[sdkid])
   delete(SdkMap, sdkid)
   fmt.Println("删除主题 sdk: ", sdkid)
func createSdkSendServerAndListen(id string) {
   if _, isExist := SdkMap[id]; !isExist { //不存在
      SdkMap[id] = make(chan protomsg.SdkMessage)
      logger.Info("create", id)
   }

   SocketManage[sdkid].Cancel()
   delete(SocketManage, sdkid)
   fmt.Println("删除server sdk: ", sdkid)
   url := "ipc:///tmp/" + id + postPush + ".ipc"
   m := deliver.PushPull
   if shm {
      m = deliver.Shm
      url = id + postPush
   }

   logger.Info("SDK URL: ", url)

   socket, err := util.NewSocketListen(int(m), url, shm)
   if err != nil {
      delete(SdkMap, id)
      logger.Error(id, "create socket error!")
      return
   }
   SocketManage[id] = socket

   go Send(id, socket, SdkMap[id])
}

func createSdkRecvServerAndListen(id string) {
   if _, isExist := SdkMap[id]; !isExist { //不存在
      SdkMap[id] = make(chan protomsg.SdkMessage)
      logger.Info("create", id)
   }

   url := "ipc:///tmp/" + id + postPull + ".ipc"
   m := deliver.PushPull
   if shm {
      m = deliver.Shm
      url = id + postPull

   }

   socket, err := util.NewSocketListen(int(m), url, shm)

   if err != nil {
      delete(SdkMap, id)
      logger.Error(id, "create socket error!")
      return
   }
   SocketManage[id] = socket

   go Recv(socket)
}

//单独处理   es 主题的情况
func Dealextern() {
    for {
        select {
            case <-SdkMap["es"]:
                fmt.Println("es finanl sdk!")
        }
    }
func DealEsTopic() {
   for {
      select {
      case <-SdkMap["es"]:
         //logger.Info("es finanl sdk!")
      }
   }
}

//动态处理
func AutoDelSdk(sdkflag chan bool) {
func autoUpdateSdk(sdkflag chan bool) {

   for _ = range sdkflag {
      fmt.Println("test autodelsdk")
      var oldSdk []string
      for key, _ := range SdkMap {
         oldSdk = append(oldSdk, key)
      logger.Info("test autodelsdk")
      var oldSdkList []string
      for key := range SdkMap {
         oldSdkList = append(oldSdkList, key)
      }
      util.Sdklist = append(util.Sdklist, "es")
      util.Sdklist = append(util.Sdklist, "virtual-faceextract-sdk-pull")
      sdkChanDel := util.Difference(oldSdk, util.Sdklist)
      fmt.Println(sdkChanDel)

      for key, op := range sdkChanDel {
      newSdkList := util.Sdklist

      // 手动添加的全部加上
      for _, sendTopic := range innerSendTopic {
         newSdkList = append(newSdkList, sendTopic)
      }
      for _, recvTopic := range innerRecvTopic {
         newSdkList = append(newSdkList, recvTopic)
      }

      sdkListUpdate := util.Difference(oldSdkList, newSdkList)
      logger.Info(sdkListUpdate)

      for key, op := range sdkListUpdate {
         if op == "add" {
            CreatesdkTopicandServer(key)
            createSdkTopicAndServer(key)
         } else {
            DeletesdkTopicandServer(key)
            fmt.Println("删除主题 sdk: ", key)
            deleteSdkTopicAndServer(key)
         }
      }
   }
}

//主题

//sdk数据 加工器
func SdkData(cid string,caddr string, taskid string, data []byte) protomsg.SdkMessage {
func ToSdkMsg(cid string, caddr string, taskid string, data []byte) protomsg.SdkMessage {
   var sdkmsg = protomsg.SdkMessage{}
   sdkmsg.Cid = cid
    sdkmsg.Caddr =caddr 
   if val, ok := tasktag.TaskMapLab.Load(taskid); !ok {
   sdkmsg.Caddr = caddr
   if val, ok := tasktag.TaskLabelMap.Load(taskid); !ok {
      sdkmsg.Tasklab = nil
      return sdkmsg

   } else {

      sdkmsg.Tasklab = val.(*protomsg.TaskLabel)
      sdkmsg.Data = data
   }
   //sdkmsg.Tasklab = tasktag.TaskMapLab[taskid]
   return sdkmsg
}

//sdk数据分发器
func SdkSendTopic(sdkmsg protomsg.SdkMessage) (sdksend string) {
func GetSdkSendTopic(sdkmsg protomsg.SdkMessage) (sendTopic string) {
   if int(sdkmsg.Tasklab.Index) < len(sdkmsg.Tasklab.Sdkinfos) {
      sdksend = sdkmsg.Tasklab.Sdkinfos[sdkmsg.Tasklab.Index].Ipcid
      sendTopic = sdkmsg.Tasklab.Sdkinfos[sdkmsg.Tasklab.Index].Ipcid
      if "Yolo" != sdkmsg.Tasklab.Sdkinfos[sdkmsg.Tasklab.Index].Sdktype &&
         "FaceDetect" != sdkmsg.Tasklab.Sdkinfos[sdkmsg.Tasklab.Index].Sdktype &&
         "FaceCompare" != sdkmsg.Tasklab.Sdkinfos[sdkmsg.Tasklab.Index].Sdktype {
         //if sdkmsg.Tasklab.Sdkinfos[sdkmsg.Tasklab.Index].Sdktype == "" {
         logger.Info("----------Sdktype:yitusoutu")
         logger.Info("分发的主题:", sendTopic, "!Sdktype：", sdkmsg.Tasklab.Sdkinfos[sdkmsg.Tasklab.Index].Sdktype)
      }
   } else {
      sdksend = "es"
   }
   fmt.Printf("分发的主题是：%s 位置 %d/%d\n ", sdksend, int(sdkmsg.Tasklab.Index)+1, len(sdkmsg.Tasklab.Sdkinfos))
   return
}

// create server
func NewSdkSocketListen(mode int, sdkid string, url string) (socket SocketContext, err error) {
   fmt.Println("url is: ", url)
   ctx, cancel := context.WithCancel(context.Background())

   socket.Context = ctx
   socket.Cancel = cancel

   socket.Sock = deliver.NewServer(deliver.Mode(mode), url)

   if socket.Sock == nil {
      return socket, errors.New("create listen error")
      sendTopic = "es"
   }

   SocketManage[sdkid] = socket
   return socket, nil
   return sendTopic
}

func NewSdkSocketDial(mode int, sdkid string, url string) (sid string, socket SocketContext, err error) {
   fmt.Println("url is: ", url)
   ctx, cancel := context.WithCancel(context.Background())
func Recv(socket util.SocketContext) {

   socket.Context = ctx
   socket.Cancel = cancel
   tryCount := 0

   socket.Sock = deliver.NewClient(deliver.Mode(mode), url)

   if socket.Sock == nil {
      return sdkid, socket, errors.New("create listen error")
   }

   SocketManage[sdkid] = socket
   return sdkid, socket, nil
}

func Recv(socket SocketContext) {
   var repsdkmsg = protomsg.SdkMessage{}
   for {
      select {
      case <-socket.Context.Done():
         fmt.Println("socket close")
         socket.Sock.Close()

         logger.Info("socket close")
         return
      default:
         if msg, err := socket.Sock.Recv(); err != nil {
            //fmt.Printf("%s ", err)

            // tryCount++
            // socket = util.MaybeRestartSocket(socket, &tryCount)

            if socket.UseSHM {
               if tryCount > util.ShmMaxTryCount {
                  socket.Sock.Close()
                  socket, err = util.NewSocketListen(socket.Mode, socket.URL, socket.UseSHM)
                  logger.Info("SDK SEND SHM TRY :", util.ShmMaxTryCount, " RESTART IT")
                  tryCount = 0
                  continue
               }
               tryCount++
            }
            continue
         } else {
            err = proto.Unmarshal(msg, &repsdkmsg)
            fmt.Println("receive len: ", len(msg))
            if err != nil {
               fmt.Println("unmarshal error: ", err)
               logger.Error("unmarshal error: ", err)
               continue
             }
                repsdkmsg.Tasklab.Index++
                //调用计算函数， 分发给下一个主题
                nexttopic := SdkSendTopic(repsdkmsg)
                SdkMap[nexttopic] <- repsdkmsg
            }
            repsdkmsg.Tasklab.Index++
            //调用计算函数， 分发给下一个主题
            nexttopic := GetSdkSendTopic(repsdkmsg)
            if "facedetect-sdk-no-track" == nexttopic || "virtual-faceextract-sdk-pull" == nexttopic {
               logger.Info("nexttopic:", nexttopic)
            }
            SdkMap[nexttopic] <- repsdkmsg
         }
      }
   }
}

func Send(sdkid string, socket SocketContext, in chan protomsg.SdkMessage) {
//   var v *protomsg.SdkMessage
//   var ok bool
func Send(sdkid string, socket util.SocketContext, in chan protomsg.SdkMessage) {

   tryCount := 0

   for {
      select {
      case <-socket.Context.Done():
         fmt.Println("socket is close")
         return
        case v, ok := <-in:
         if ok {
            data, err :=v.Marshal()
            if err != nil {
               fmt.Println("proto marshal error ", err)
               continue
                }
				
            fmt.Printf("从管道sdkid=%s 接受数据 %d\n", sdkid, len(data))
            fmt.Println()
         socket.Sock.Close()

            if err := socket.Sock.Send(data); err != nil {
               fmt.Println(socket.Sock)
               fmt.Println("failed send")
         logger.Info("socket is close")
         return
      case v, ok := <-in:
         if ok {
            data, err := v.Marshal()
            if err != nil {
               logger.Error("proto marshal error ", err)
               continue
            }
            fmt.Printf("sdkid = %s ,send success:%d \n", sdkid, len(data))

            if err := socket.Sock.Send(data); err != nil {
               if "facedetect-sdk-no-track" == sdkid || "virtual-faceextract-sdk-pull" == sdkid {
                  logger.Error("failed send:sdkid=", sdkid)
               }

               // tryCount++
               // socket = util.MaybeRestartSocket(socket, &tryCount)

               if socket.UseSHM {
                  if tryCount > util.ShmMaxTryCount {
                     socket.Sock.Close()
                     socket, err = util.NewSocketListen(socket.Mode, socket.URL, socket.UseSHM)
                     logger.Info("SDK SEND SHM TRY :", util.ShmMaxTryCount, " RESTART IT")
                     tryCount = 0
                     continue
                  }
                  tryCount++
               }

               continue
            }
            if "facedetect-sdk-no-track" == sdkid || "virtual-faceextract-sdk-pull" == sdkid {
               logger.Info(sdkid, " send success: ", len(data))
            }
         } else {
            fmt.Println(sdkid, " 主题关闭, 关闭send()")
            logger.Debug(sdkid, " 主题关闭, 关闭send()")
            return
         }
      }