test all process

554325746@qq.com

2019-05-28 70df7b912014201e271a2966599b84d77addd0f9

 sdk/sdk.go

@@ -2,60 +2,65 @@

import (
   "context"
   "errors"
   "fmt"
   "time"

   "github.com/long/test/httpclient"
   "github.com/long/test/protomsg"
//   "github.com/long/test/httpclient"
   "github.com/long/test/tasktag"
   "github.com/long/test/util"

   "nanomsg.org/go-mangos"
   "nanomsg.org/go-mangos/protocol/pair"
   "nanomsg.org/go-mangos/transport/ipc"
   "nanomsg.org/go-mangos/transport/tcp"

   "github.com/golang/protobuf/proto"

   "basic.com/valib/deliver.git"
   "basic.com/pubsub/protomsg.git"
    "basic.com/dbapi.git"
)

const (
    postPull="_1.ipc"
    postPush="_2.ipc"
)

var SocketManage = make(map[string]SocketContext)

var sdkapi dbapi.SdkApi

type SocketContext struct {
   Sock    mangos.Socket
   Sock    deliver.Deliver
   Context context.Context
   Cancel  context.CancelFunc
}

func Init() {

    fmt.Println("============= init sdk info =====================")
   sdklist := SdkAll() //获取所有sdk
   fmt.Println("sdk list have: ", sdklist)

   SdkCreateTopic(sdklist) // 创建主题

   for _, sdkid := range sdklist { // 创建sdk server
      sdkid, socket, err := NewSdkListen(sdkid, "tcp", "192.168.1.124", 0)
        url := fmt.Sprintf("ipc:///tmp/%s%s",sdkid,postPull)
      sdkidser, socketser, err := NewSdkSocketListen(deliver.PushPull, sdkid, url)
      if err != nil {
         continue
      }
      // 接受管道数据 ==》 发送给 对应的进程
      go send(sdkid, socket, SdkMap[sdkid])
      go Send(sdkidser, socketser, SdkMap[sdkid])

      //从对应进程接受数据 == 》 重新送回到管道
      go Recv(socket)
        url = fmt.Sprintf("ipc:///tmp/%s%s",sdkid,postPush)
      _, socketdial, err := NewSdkSocketListen(deliver.PushPull, sdkid, url)
      if err != nil {
         continue
      }
      go Recv(socketdial)

   }

   go es(SdkMap["es"])

}

//单独处理   es 主题的情况
func es(sdkmsgchan chan *protomsg.SdkMessage) {
   for data := range sdkmsgchan {
      fmt.Println("this data is finish all sdk! ", data)
   for _ = range sdkmsgchan {
      fmt.Println("this data is finish all sdk! ")
   }

}

//动态处理
@@ -89,7 +94,6 @@
      sdkmsg.Tasklab = nil
      return sdkmsg
   }

   sdkmsg.Tasklab = tasktag.TaskMapLab[taskid]
   sdkmsg.Data = data
   return sdkmsg
@@ -102,15 +106,14 @@
   } else {
      sdksend = "es"
   }
   fmt.Println()
   fmt.Println("分发的主题是： ", sdksend)
   fmt.Println()
   return
}

// 调用  http 借口获取摄像机信息
func SdkAll() (sdklist []string) {
   sdklist = httpclient.GetSdk("http://127.0.0.1:8000/data/api-v/sdk/findskdid")
   //sdklist = httpclient.GetSdk("http://192.168.1.124:8000/data/api-v/sdk/findskdid")
    sdklist = sdkapi.GetAllSdkIds()
   return
}

@@ -127,52 +130,46 @@
   return nil
}

var UrlPort = 9000

// 创建 sdk server  listen
func NewSdkListen(sdkid string, protocol string, ip string, port int) (sid string, socket SocketContext, err error) {

// create server
func NewSdkSocketListen(mode int, sdkid string, url string) (sid string, socket SocketContext, err error) {
   fmt.Println("url is: ", url)
   ctx, cancel := context.WithCancel(context.Background())

   var url string

   socket.Context = ctx
   socket.Cancel = cancel

   switch protocol {
   case "tcp":
      if port == 0 {
         port = UrlPort
         UrlPort++
      }
      url = fmt.Sprintf("%s://%s:%d", protocol, ip, port)
   socket.Sock = deliver.NewServer(deliver.Mode(mode), url)
   fmt.Println(sdkid, socket.Sock)

   case "ipc":
      url = fmt.Sprintf("%s://%s", sdkid)
   }
   fmt.Printf("sdkid= %s  url=%s\n", sdkid, url)

   if socket.Sock, err = pair.NewSocket(); err != nil {
      fmt.Println(sdkid, "can't get new pair socket: ", err.Error())
      return sdkid, socket, err
   if socket.Sock == nil {
      return sdkid, socket, errors.New("create listen error")
   }

   socket.Sock.SetOption(mangos.OptionMaxRecvSize, 32*1024*1024)
   socket.Sock.SetOption(mangos.OptionWriteQLen, 10)
   socket.Sock.SetOption(mangos.OptionReadQLen, 10)

   socket.Sock.AddTransport(tcp.NewTransport())
   socket.Sock.AddTransport(ipc.NewTransport())

   if err = socket.Sock.Listen(url); err != nil {
      fmt.Println("socket lisnte error ", sdkid)
   }
   SocketManage[sdkid] = socket
   return sdkid, socket, err
   return sdkid, socket, nil
}

func NewSdkSocketDial(mode int, sdkid string, url string) (sid string, socket SocketContext, err error) {
   fmt.Println("url is: ", url)
   ctx, cancel := context.WithCancel(context.Background())

   socket.Context = ctx
   socket.Cancel = cancel

   socket.Sock = deliver.NewClient(deliver.Mode(mode), url)
   fmt.Println(sdkid, socket.Sock)

   if socket.Sock == nil {
      return sdkid, socket, errors.New("create listen error")
   }

   SocketManage[sdkid] = socket
   return sdkid, socket, nil
}

func Recv(socket SocketContext) {
   socket.Sock.SetOption(mangos.OptionRecvDeadline, 1*time.Second)
   //socket.Sock.SetOption(mangos.OptionRecvDeadline, 1*time.Second)

   var repsdkmsg = &protomsg.SdkMessage{}
   for {
@@ -186,6 +183,7 @@
            continue
         } else {
            err = proto.Unmarshal(msg, repsdkmsg)
            fmt.Println("receive len: ", len(msg))
            if err != nil {
               fmt.Println("unmarshal error: ", err)
               continue
@@ -198,7 +196,7 @@
   }
}

func send(sdkid string, socket SocketContext, in chan *protomsg.SdkMessage) {
func Send(sdkid string, socket SocketContext, in chan *protomsg.SdkMessage) {
   var v *protomsg.SdkMessage

   for {
@@ -209,11 +207,16 @@
         data, err := proto.Marshal(v)
         if err != nil {
            fmt.Println("proto marshal error ", err)
            continue
         }
         fmt.Printf("从管道sdkid=%s 接受数据 %d\n", sdkid, len(data))
         fmt.Println()

         fmt.Println("send len of data: ", len(data))
         if err := socket.Sock.Send(data); err != nil {
                fmt.Println(socket.Sock)
            fmt.Println("failed send")
            continue
         }
         fmt.Printf("sdkid = %s ,send success:%d \n", sdkid, len(data))
      }