change json to photobuf

龙赣华

2019-05-14 f8beddf554ab00dafa95fbd3cecd2c05e5f0e72f

 sdk/sdk.go

@@ -2,17 +2,20 @@

import (
   "context"
   "encoding/json"
   "fmt"
   "time"

   "github.com/long/test/httpclient"
   "github.com/long/test/protomsg"
   "github.com/long/test/tasktag"
   "github.com/long/test/util"
   "time"

   "nanomsg.org/go-mangos"
   "nanomsg.org/go-mangos/protocol/pair"
   "nanomsg.org/go-mangos/transport/ipc"
   "nanomsg.org/go-mangos/transport/tcp"

   "github.com/golang/protobuf/proto"
)

var SocketManage = make(map[string]SocketContext)
@@ -48,7 +51,7 @@
}

//单独处理   es 主题的情况
func es(sdkmsgchan chan SdkMessage) {
func es(sdkmsgchan chan *protomsg.SdkMessage) {
   for data := range sdkmsgchan {
      fmt.Println("this data is finish all sdk! ", data)
   }
@@ -65,7 +68,7 @@

   for key, op := range sdkChanDel {
      if op == "add" {
         SdkMap[key] = make(chan SdkMessage)
         SdkMap[key] = make(chan *protomsg.SdkMessage)
         fmt.Println("创建主题 sdk: ", key)
      } else {
         close(SdkMap[key])
@@ -76,26 +79,25 @@
}

//主题
var SdkMap = make(map[string]chan SdkMessage)

// 发送给算法进程的结构
type SdkMessage struct {
   Cid     string
   Tasklab tasktag.TaskLabel
   Data    []byte
}
var SdkMap = make(map[string]chan *protomsg.SdkMessage)

//sdk数据 加工器
func SdkData(cid string, taskid string, data []byte) (sdkmsg SdkMessage) {
func SdkData(cid string, taskid string, data []byte) *protomsg.SdkMessage {
   var sdkmsg = &protomsg.SdkMessage{}
   sdkmsg.Cid = cid
   if _, ok := tasktag.TaskMapLab[taskid]; !ok {
      sdkmsg.Tasklab = nil
      return sdkmsg
   }

   sdkmsg.Tasklab = tasktag.TaskMapLab[taskid]
   sdkmsg.Data = data
   return
   return sdkmsg
}

//sdk数据分发器
func SdkSendTopic(sdkmsg SdkMessage) (sdksend string) {
   if sdkmsg.Tasklab.Index < len(sdkmsg.Tasklab.Sdkids) {
func SdkSendTopic(sdkmsg *protomsg.SdkMessage) (sdksend string) {
   if int(sdkmsg.Tasklab.Index) < len(sdkmsg.Tasklab.Sdkids) {
      sdksend = sdkmsg.Tasklab.Sdkids[sdkmsg.Tasklab.Index]
   } else {
      sdksend = "es"
@@ -115,11 +117,11 @@
// 创建主题
func SdkCreateTopic(sdklist []string) (err error) {
   for _, sdkid := range sdklist {
      SdkMap[sdkid] = make(chan SdkMessage)
      SdkMap[sdkid] = make(chan *protomsg.SdkMessage)
      fmt.Println("create sdk channel:  ", sdkid)
   }

   SdkMap["es"] = make(chan SdkMessage)
   SdkMap["es"] = make(chan *protomsg.SdkMessage)
   fmt.Println("create es channel:  ")

   return nil
@@ -171,6 +173,8 @@

func Recv(socket SocketContext) {
   socket.Sock.SetOption(mangos.OptionRecvDeadline, 1*time.Second)

   var repsdkmsg = &protomsg.SdkMessage{}
   for {
      select {
      case <-socket.Context.Done():
@@ -181,45 +185,37 @@
            //fmt.Printf("%s ", err)
            continue
         } else {

            var repsdkmsg SdkMessage
            var reps interface{}

            err = json.Unmarshal(msg, &reps)
            err = proto.Unmarshal(msg, repsdkmsg)
            if err != nil {
               fmt.Println("unmarshal error: ", err)
               continue
            }

            switch v := reps.(type) {
            case map[string]interface{}:
               //调用计算函数， 分发给下一个主题

               json.Unmarshal(msg, &repsdkmsg)
               nexttopic := SdkSendTopic(repsdkmsg)
               SdkMap[nexttopic] <- repsdkmsg
            case string:
               fmt.Println("this string is: ", v)
            }
         }
      }
   }
}

func send(sdkid string, socket SocketContext, in chan SdkMessage) {
   var v SdkMessage
   var b []byte
func send(sdkid string, socket SocketContext, in chan *protomsg.SdkMessage) {
   var v *protomsg.SdkMessage

   for {
      select {
      case <-socket.Context.Done():
         fmt.Println("socket is close")
      case v = <-in:
         b, _ = json.Marshal(v)
         fmt.Printf("从管道sdkid=%s 接受数据 %d\n", sdkid, len(v.Data))
         if err := socket.Sock.Send(b); err != nil {
         data, err := proto.Marshal(v)
         if err != nil {
            fmt.Println("proto marshal error ", err)
         }
         fmt.Printf("从管道sdkid=%s 接受数据 %d\n", sdkid, len(data))

         if err := socket.Sock.Send(data); err != nil {
            fmt.Println("failed send")
         }
         fmt.Printf("sdkid = %s ,send success:%d \n", sdkid, len(v.Data))
         fmt.Printf("sdkid = %s ,send success:%d \n", sdkid, len(data))
      }
   }
}