join pub/sub to node; refactor.

lichao

2021-04-09 2197cf91e7a3bd5941327ba630a42946b88f069e

 utest/speed_test.cpp

@@ -24,18 +24,25 @@
{
   const std::string shm_name("ShmSpeed");
   ShmRemover auto_remove(shm_name);
   const int mem_size       = 1024 * 1024 * 50;
   MQId id                  = boost::uuids::random_generator()();
   const int timeout        = 100;
   const int mem_size = 1024 * 1024 * 50;
   MQId id = boost::uuids::random_generator()();
   const int timeout = 100;
   const uint32_t data_size = 4000;
   const std::string proc_id = "demo_proc";

   auto Writer = [&](int writer_id, uint64_t n) {
      SharedMemory shm(shm_name, mem_size);
      ShmMsgQueue mq(shm, 64);
      std::string str(data_size, 'a');
      MsgI msg;
      MsgRequestTopic body;
      body.set_topic("topic");
      body.set_data(str);
      auto head(InitMsgHead(GetType(body), proc_id));
      msg.MakeRC(shm, head, body);
      assert(msg.IsCounted());
      DEFER1(msg.Release(shm););
      msg.MakeRC(shm, MakeRequest(mq.Id(), str.data(), str.size()));

      for (uint64_t i = 0; i < n; ++i) {
         // mq.Send(id, str.data(), str.size(), timeout);
         mq.Send(id, msg, timeout);
@@ -45,8 +52,10 @@
      SharedMemory shm(shm_name, mem_size);
      ShmMsgQueue mq(id, shm, 1000);
      while (*run) {
         BHMsg msg;
         MsgI msg;
         BHMsgHead head;
         if (mq.Recv(msg, timeout)) {
            DEFER1(msg.Release(shm));
            // ok
         } else if (isfork) {
            exit(0); // for forked quit after 1s.
@@ -70,7 +79,7 @@
   auto Test = [&](auto &www, auto &rrr, bool isfork) {
      for (auto nreader : nreaders) {
         for (auto nwriter : nwriters) {
            const uint64_t nmsg      = 1000 * 1000 * 10 / nwriter;
            const uint64_t nmsg = 1000 * 1000 * 10 / nwriter;
            const uint64_t total_msg = nmsg * nwriter;
            std::atomic<bool> run(true);
            std::this_thread::sleep_for(10ms);
@@ -104,26 +113,37 @@
   run.store(false);
}

// Request Reply Test
BOOST_AUTO_TEST_CASE(RRTest)
// Send Recv Test
BOOST_AUTO_TEST_CASE(SRTest)
{
   const std::string shm_name("ShmReqRep");
   const std::string shm_name("ShmSendRecv");
   ShmRemover auto_remove(shm_name);
   const int qlen          = 64;
   const int qlen = 64;
   const size_t msg_length = 1000;
   std::string msg_content(msg_length, 'a');
   msg_content[20] = '\0';
   const std::string client_proc_id = "client_proc";
   const std::string server_proc_id = "server_proc";

   SharedMemory shm(shm_name, 1024 * 1024 * 50);
   auto Avail      = [&]() { return shm.get_free_memory(); };
   auto Avail = [&]() { return shm.get_free_memory(); };
   auto init_avail = Avail();
   ShmMsgQueue srv(shm, qlen);
   ShmMsgQueue cli(shm, qlen);
   ShmSocket srv(shm, qlen);
   ShmSocket cli(shm, qlen);

   MsgI request_rc;
   request_rc.MakeRC(shm, MakeRequest(cli.Id(), msg_content.data(), msg_content.size()));
   MsgRequestTopic req_body;
   req_body.set_topic("topic");
   req_body.set_data(msg_content);
   auto req_head(InitMsgHead(GetType(req_body), client_proc_id));
   request_rc.MakeRC(shm, req_head, req_body);

   MsgRequestTopic reply_body;
   reply_body.set_topic("topic");
   reply_body.set_data(msg_content);
   auto reply_head(InitMsgHead(GetType(reply_body), server_proc_id));
   MsgI reply_rc;
   reply_rc.MakeRC(shm, MakeReply(msg_content.data(), msg_content.size()));
   reply_rc.MakeRC(shm, reply_head, reply_body);

   std::atomic<uint64_t> count(0);

@@ -133,18 +153,24 @@
   auto Client = [&](int cli_id, int nmsg) {
      for (int i = 0; i < nmsg; ++i) {
         auto Req = [&]() {
            return cli.Send(srv.Id(), MakeRequest(cli.Id(), msg_content.data(), msg_content.size()), 100);
            MsgRequestTopic req_body;
            req_body.set_topic("topic");
            req_body.set_data(msg_content);
            auto req_head(InitMsgHead(GetType(req_body), client_proc_id));
            return cli.Send(&srv.id(), req_head, req_body, 100);
         };
         auto ReqRC = [&]() { return cli.Send(srv.Id(), request_rc, 1000); };
         auto ReqRC = [&]() { return cli.Send(&srv.id(), request_rc, 1000); };

         if (!ReqRC()) {
            printf("********** client send error.\n");
            continue;
         }
         BHMsg msg;
         if (!cli.Recv(msg, 1000)) {
         MsgI msg;
         BHMsgHead head;
         if (!cli.SyncRecv(msg, head, 1000)) {
            printf("********** client recv error.\n");
         } else {
            DEFER1(msg.Release(shm));
            ++count;
            auto cur = Now();
            if (last_time.exchange(cur) < cur) {
@@ -158,18 +184,28 @@

   std::atomic<bool> stop(false);
   auto Server = [&]() {
      BHMsg req;
      while (!stop) {
         if (srv.Recv(req, 100) && req.type() == kMsgTypeRequest) {
            auto &mqid = req.route()[0].mq_id();
            MQId src_id;
            memcpy(&src_id, mqid.data(), sizeof(src_id));
            auto Reply = [&]() {
               return srv.Send(src_id, MakeReply(msg_content.data(), msg_content.size()), 100);
            };
            auto ReplyRC = [&]() { return srv.Send(src_id, reply_rc, 100); };
      MsgI req;
      BHMsgHead req_head;

            if (ReplyRC()) {
      while (!stop) {
         if (srv.SyncRecv(req, req_head, 100)) {
            DEFER1(req.Release(shm));

            if (req.ParseHead(req_head) && req_head.type() == kMsgTypeRequestTopic) {
               auto &mqid = req_head.route()[0].mq_id();
               MQId src_id;
               memcpy(&src_id, mqid.data(), sizeof(src_id));
               auto Reply = [&]() {
                  MsgRequestTopic reply_body;
                  reply_body.set_topic("topic");
                  reply_body.set_data(msg_content);
                  auto reply_head(InitMsgHead(GetType(reply_body), server_proc_id, req_head.msg_id()));
                  return srv.Send(&src_id, reply_head, reply_body, 100);
               };
               auto ReplyRC = [&]() { return srv.Send(&src_id, reply_rc, 100); };

               if (ReplyRC()) {
               }
            }
         }
      }
@@ -180,7 +216,7 @@

   ThreadManager clients, servers;
   for (int i = 0; i < qlen; ++i) { servers.Launch(Server); }
   int ncli      = 100 * 1;
   int ncli = 100 * 1;
   uint64_t nmsg = 100 * 100 * 2;
   printf("client threads: %d, msgs : %ld, total msg: %ld\n", ncli, nmsg, ncli * nmsg);
   for (int i = 0; i < ncli; ++i) { clients.Launch(Client, i, nmsg); }