release with sdk

龙赣华

2019-05-22 1a07fb2a68681a66ce8fa86d1e4d460d8558f856

 sdk/sdk.go

@@ -2,23 +2,23 @@

import (
   "context"
   "encoding/json"
   "errors"
   "fmt"

   "github.com/long/test/httpclient"
   "github.com/long/test/protomsg"
   "github.com/long/test/tasktag"
   "github.com/long/test/util"
   "time"

   "nanomsg.org/go-mangos"
   "nanomsg.org/go-mangos/protocol/pair"
   "nanomsg.org/go-mangos/transport/ipc"
   "nanomsg.org/go-mangos/transport/tcp"
   "github.com/golang/protobuf/proto"
   "github.com/long/test/deliver"
)

//var doOnce sync.Once
var SocketManage = make(map[string]SocketContext)

type SocketContext struct {
   Sock    mangos.Socket
   Sock    deliver.Deliver
   Context context.Context
   Cancel  context.CancelFunc
}
@@ -31,15 +31,21 @@
   SdkCreateTopic(sdklist) // 创建主题

   for _, sdkid := range sdklist { // 创建sdk server
      sdkid, socket, err := NewSdkListen(sdkid, "tcp", "192.168.1.124", 0)
      url := fmt.Sprintf("%s%d", "tcp://192.168.1.124:", UrlPort)
      sdkidser, socketser, err := NewSdkSocketListen(deliver.PushPull, sdkid, url)
      if err != nil {
         continue
      }
      // 接受管道数据 ==》 发送给 对应的进程
      go send(sdkid, socket, SdkMap[sdkid])
      UrlPort++
      go Send(sdkidser, socketser, SdkMap[sdkid])

      //从对应进程接受数据 == 》 重新送回到管道
      go Recv(socket)
      url = fmt.Sprintf("%s%d", "tcp://192.168.1.124:", UrlPortR)
      _, socketdial, err := NewSdkSocketListen(deliver.PushPull, sdkid, url)
      if err != nil {
         continue
      }
      UrlPortR++
      go Recv(socketdial)

   }

@@ -48,9 +54,9 @@
}

//单独处理   es 主题的情况
func es(sdkmsgchan chan SdkMessage) {
   for data := range sdkmsgchan {
      fmt.Println("this data is finish all sdk! ", data)
func es(sdkmsgchan chan *protomsg.SdkMessage) {
   for _ = range sdkmsgchan {
      fmt.Println("this data is finish all sdk! ")
   }

}
@@ -65,7 +71,7 @@

   for key, op := range sdkChanDel {
      if op == "add" {
         SdkMap[key] = make(chan SdkMessage)
         SdkMap[key] = make(chan *protomsg.SdkMessage)
         fmt.Println("创建主题 sdk: ", key)
      } else {
         close(SdkMap[key])
@@ -76,26 +82,25 @@
}

//主题
var SdkMap = make(map[string]chan SdkMessage)

// 发送给算法进程的结构
type SdkMessage struct {
   Cid     string
   Tasklab tasktag.TaskLabel
   Data    []byte
}
var SdkMap = make(map[string]chan *protomsg.SdkMessage)

//sdk数据 加工器
func SdkData(cid string, taskid string, data []byte) (sdkmsg SdkMessage) {
func SdkData(cid string, taskid string, data []byte) *protomsg.SdkMessage {
   var sdkmsg = &protomsg.SdkMessage{}
   sdkmsg.Cid = cid
   if _, ok := tasktag.TaskMapLab[taskid]; !ok {
      sdkmsg.Tasklab = nil
      return sdkmsg
   }

   sdkmsg.Tasklab = tasktag.TaskMapLab[taskid]
   sdkmsg.Data = data
   return
   return sdkmsg
}

//sdk数据分发器
func SdkSendTopic(sdkmsg SdkMessage) (sdksend string) {
   if sdkmsg.Tasklab.Index < len(sdkmsg.Tasklab.Sdkids) {
func SdkSendTopic(sdkmsg *protomsg.SdkMessage) (sdksend string) {
   if int(sdkmsg.Tasklab.Index) < len(sdkmsg.Tasklab.Sdkids) {
      sdksend = sdkmsg.Tasklab.Sdkids[sdkmsg.Tasklab.Index]
   } else {
      sdksend = "es"
@@ -115,62 +120,60 @@
// 创建主题
func SdkCreateTopic(sdklist []string) (err error) {
   for _, sdkid := range sdklist {
      SdkMap[sdkid] = make(chan SdkMessage)
      SdkMap[sdkid] = make(chan *protomsg.SdkMessage)
      fmt.Println("create sdk channel:  ", sdkid)
   }

   SdkMap["es"] = make(chan SdkMessage)
   SdkMap["es"] = make(chan *protomsg.SdkMessage)
   fmt.Println("create es channel:  ")

   return nil
}

var UrlPort = 9000
var UrlPortR = 9500

// 创建 sdk server  listen
func NewSdkListen(sdkid string, protocol string, ip string, port int) (sid string, socket SocketContext, err error) {

// create server
func NewSdkSocketListen(mode int, sdkid string, url string) (sid string, socket SocketContext, err error) {
   fmt.Println("url is: ", url)
   ctx, cancel := context.WithCancel(context.Background())

   var url string

   socket.Context = ctx
   socket.Cancel = cancel

   switch protocol {
   case "tcp":
      if port == 0 {
         port = UrlPort
         UrlPort++
      }
      url = fmt.Sprintf("%s://%s:%d", protocol, ip, port)
   socket.Sock = deliver.NewServer(deliver.Mode(mode), url)
   fmt.Println(sdkid, socket.Sock)

   case "ipc":
      url = fmt.Sprintf("%s://%s", sdkid)
   }
   fmt.Printf("sdkid= %s  url=%s\n", sdkid, url)

   if socket.Sock, err = pair.NewSocket(); err != nil {
      fmt.Println(sdkid, "can't get new pair socket: ", err.Error())
      return sdkid, socket, err
   if socket.Sock == nil {
      return sdkid, socket, errors.New("create listen error")
   }

   socket.Sock.SetOption(mangos.OptionMaxRecvSize, 32*1024*1024)
   socket.Sock.SetOption(mangos.OptionWriteQLen, 10)
   socket.Sock.SetOption(mangos.OptionReadQLen, 10)

   socket.Sock.AddTransport(tcp.NewTransport())
   socket.Sock.AddTransport(ipc.NewTransport())

   if err = socket.Sock.Listen(url); err != nil {
      fmt.Println("socket lisnte error ", sdkid)
   }
   SocketManage[sdkid] = socket
   return sdkid, socket, err
   return sdkid, socket, nil
}

func NewSdkSocketDial(mode int, sdkid string, url string) (sid string, socket SocketContext, err error) {
   fmt.Println("url is: ", url)
   ctx, cancel := context.WithCancel(context.Background())

   socket.Context = ctx
   socket.Cancel = cancel

   socket.Sock = deliver.NewClient(deliver.Mode(mode), url)
   fmt.Println(sdkid, socket.Sock)

   if socket.Sock == nil {
      return sdkid, socket, errors.New("create listen error")
   }

   SocketManage[sdkid] = socket
   return sdkid, socket, nil
}

func Recv(socket SocketContext) {
   socket.Sock.SetOption(mangos.OptionRecvDeadline, 1*time.Second)
   //socket.Sock.SetOption(mangos.OptionRecvDeadline, 1*time.Second)

   var repsdkmsg = &protomsg.SdkMessage{}
   for {
      select {
      case <-socket.Context.Done():
@@ -181,45 +184,42 @@
            //fmt.Printf("%s ", err)
            continue
         } else {

            var repsdkmsg SdkMessage
            var reps interface{}

            err = json.Unmarshal(msg, &reps)
            err = proto.Unmarshal(msg, repsdkmsg)
            fmt.Println("receive len: ", len(msg))
            if err != nil {
               fmt.Println("unmarshal error: ", err)
               continue
            }

            switch v := reps.(type) {
            case map[string]interface{}:
               //调用计算函数， 分发给下一个主题

               json.Unmarshal(msg, &repsdkmsg)
               nexttopic := SdkSendTopic(repsdkmsg)
               SdkMap[nexttopic] <- repsdkmsg
            case string:
               fmt.Println("this string is: ", v)
            }
            //调用计算函数， 分发给下一个主题
            nexttopic := SdkSendTopic(repsdkmsg)
            SdkMap[nexttopic] <- repsdkmsg
         }
      }
   }
}

func send(sdkid string, socket SocketContext, in chan SdkMessage) {
   var v SdkMessage
   var b []byte
func Send(sdkid string, socket SocketContext, in chan *protomsg.SdkMessage) {
   var v *protomsg.SdkMessage

   for {
      select {
      case <-socket.Context.Done():
         fmt.Println("socket is close")
      case v = <-in:
         b, _ = json.Marshal(v)
         fmt.Printf("从管道sdkid=%s 接受数据 %d\n", sdkid, len(v.Data))
         if err := socket.Sock.Send(b); err != nil {
            fmt.Println("failed send")
         data, err := proto.Marshal(v)
         if err != nil {
            fmt.Println("proto marshal error ", err)
            continue
         }
         fmt.Printf("sdkid = %s ,send success:%d \n", sdkid, len(v.Data))
         fmt.Printf("从管道sdkid=%s 接受数据 %d\n", sdkid, len(data))
         fmt.Println()

         fmt.Println("send len of data: ", len(data))
         if err := socket.Sock.Send(data); err != nil {
            fmt.Println("failed send")
            continue
         }
         fmt.Printf("sdkid = %s ,send success:%d \n", sdkid, len(data))
      }
   }
}