node remove mq if never registered; refactor.

lichao

2021-04-16 c6964d5af25d4ec7ed9dbe7674dc4e3896b36ead

 utest/speed_test.cpp

@@ -24,20 +24,26 @@
{
   const std::string shm_name("ShmSpeed");
   ShmRemover auto_remove(shm_name);
   const int mem_size       = 1024 * 1024 * 50;
   MQId id                  = boost::uuids::random_generator()();
   const int timeout        = 100;
   const int mem_size = 1024 * 1024 * 50;
   MQId id = boost::uuids::random_generator()();
   const int timeout = 1000;
   const uint32_t data_size = 4000;
   const std::string proc_id = "demo_proc";

   auto Writer = [&](int writer_id, uint64_t n) {
      SharedMemory shm(shm_name, mem_size);
      ShmMsgQueue mq(shm, 64);
      std::string str(data_size, 'a');
      MsgI msg;
      MsgRequestTopic body;
      body.set_topic("topic");
      body.set_data(str);
      auto head(InitMsgHead(GetType(body), proc_id));
      msg.MakeRC(shm, head, body);
      assert(msg.IsCounted());
      DEFER1(msg.Release(shm););
      msg.MakeRC(shm, MakeRequest(mq.Id(), str.data(), str.size()));

      for (uint64_t i = 0; i < n; ++i) {
         // mq.Send(id, str.data(), str.size(), timeout);
         mq.Send(id, msg, timeout);
      }
   };
@@ -45,8 +51,10 @@
      SharedMemory shm(shm_name, mem_size);
      ShmMsgQueue mq(id, shm, 1000);
      while (*run) {
         BHMsg msg;
         MsgI msg;
         BHMsgHead head;
         if (mq.Recv(msg, timeout)) {
            DEFER1(msg.Release(shm));
            // ok
         } else if (isfork) {
            exit(0); // for forked quit after 1s.
@@ -70,7 +78,7 @@
   auto Test = [&](auto &www, auto &rrr, bool isfork) {
      for (auto nreader : nreaders) {
         for (auto nwriter : nwriters) {
            const uint64_t nmsg      = 1000 * 1000 * 10 / nwriter;
            const uint64_t nmsg = 1000 * 1000 * 10 / nwriter;
            const uint64_t total_msg = nmsg * nwriter;
            std::atomic<bool> run(true);
            std::this_thread::sleep_for(10ms);
@@ -82,6 +90,7 @@
               www.Launch(Writer, i, nmsg);
            }
            www.WaitAll();
            printf("writer finished\n");
            run.store(false);
            rrr.WaitAll();
            printf("Write %ld msg  R(%3d) W(%3d), : ", total_msg, nreader, nwriter);
@@ -104,26 +113,41 @@
   run.store(false);
}

// Request Reply Test
BOOST_AUTO_TEST_CASE(RRTest)
// Send Recv Test
BOOST_AUTO_TEST_CASE(SRTest)
{
   const std::string shm_name("ShmReqRep");
   const std::string shm_name("ShmSendRecv");
   ShmRemover auto_remove(shm_name);
   const int qlen          = 64;
   const int qlen = 64;
   const size_t msg_length = 1000;
   std::string msg_content(msg_length, 'a');
   msg_content[20] = '\0';
   const std::string client_proc_id = "client_proc";
   const std::string server_proc_id = "server_proc";

   SharedMemory shm(shm_name, 1024 * 1024 * 50);
   auto Avail      = [&]() { return shm.get_free_memory(); };
   auto Avail = [&]() { return shm.get_free_memory(); };
   auto init_avail = Avail();
   ShmMsgQueue srv(shm, qlen);
   ShmMsgQueue cli(shm, qlen);
   ShmSocket srv(shm, qlen);
   ShmSocket cli(shm, qlen);

   MsgI request_rc;
   request_rc.MakeRC(shm, MakeRequest(cli.Id(), msg_content.data(), msg_content.size()));
   MsgRequestTopic req_body;
   req_body.set_topic("topic");
   req_body.set_data(msg_content);
   auto req_head(InitMsgHead(GetType(req_body), client_proc_id));
   req_head.add_route()->set_mq_id(&cli.id(), cli.id().size());
   request_rc.MakeRC(shm, req_head, req_body);
   DEFER1(request_rc.Release(shm));

   MsgRequestTopic reply_body;
   reply_body.set_topic("topic");
   reply_body.set_data(msg_content);
   auto reply_head(InitMsgHead(GetType(reply_body), server_proc_id));
   reply_head.add_route()->set_mq_id(&srv.id(), srv.id().size());
   MsgI reply_rc;
   reply_rc.MakeRC(shm, MakeReply(msg_content.data(), msg_content.size()));
   reply_rc.MakeRC(shm, reply_head, reply_body);
   DEFER1(reply_rc.Release(shm));

   std::atomic<uint64_t> count(0);

@@ -133,18 +157,24 @@
   auto Client = [&](int cli_id, int nmsg) {
      for (int i = 0; i < nmsg; ++i) {
         auto Req = [&]() {
            return cli.Send(srv.Id(), MakeRequest(cli.Id(), msg_content.data(), msg_content.size()), 100);
            MsgRequestTopic req_body;
            req_body.set_topic("topic");
            req_body.set_data(msg_content);
            auto req_head(InitMsgHead(GetType(req_body), client_proc_id));
            return cli.Send(&srv.id(), req_head, req_body);
         };
         auto ReqRC = [&]() { return cli.Send(srv.Id(), request_rc, 1000); };
         auto ReqRC = [&]() { return cli.Send(&srv.id(), request_rc); };

         if (!ReqRC()) {
            printf("********** client send error.\n");
            continue;
         }
         BHMsg msg;
         if (!cli.Recv(msg, 1000)) {
         MsgI msg;
         BHMsgHead head;
         if (!cli.SyncRecv(msg, head, 1000)) {
            printf("********** client recv error.\n");
         } else {
            DEFER1(msg.Release(shm));
            ++count;
            auto cur = Now();
            if (last_time.exchange(cur) < cur) {
@@ -158,18 +188,28 @@

   std::atomic<bool> stop(false);
   auto Server = [&]() {
      BHMsg req;
      while (!stop) {
         if (srv.Recv(req, 100) && req.type() == kMsgTypeRequest) {
            auto &mqid = req.route()[0].mq_id();
            MQId src_id;
            memcpy(&src_id, mqid.data(), sizeof(src_id));
            auto Reply = [&]() {
               return srv.Send(src_id, MakeReply(msg_content.data(), msg_content.size()), 100);
            };
            auto ReplyRC = [&]() { return srv.Send(src_id, reply_rc, 100); };
      MsgI req;
      BHMsgHead req_head;

            if (ReplyRC()) {
      while (!stop) {
         if (srv.SyncRecv(req, req_head, 10)) {
            DEFER1(req.Release(shm));

            if (req.ParseHead(req_head) && req_head.type() == kMsgTypeRequestTopic) {
               auto &mqid = req_head.route()[0].mq_id();
               MQId src_id;
               memcpy(&src_id, mqid.data(), sizeof(src_id));
               auto Reply = [&]() {
                  MsgRequestTopic reply_body;
                  reply_body.set_topic("topic");
                  reply_body.set_data(msg_content);
                  auto reply_head(InitMsgHead(GetType(reply_body), server_proc_id, req_head.msg_id()));
                  return srv.Send(&src_id, reply_head, reply_body);
               };
               auto ReplyRC = [&]() { return srv.Send(&src_id, reply_rc); };

               if (ReplyRC()) {
               }
            }
         }
      }
@@ -180,7 +220,7 @@

   ThreadManager clients, servers;
   for (int i = 0; i < qlen; ++i) { servers.Launch(Server); }
   int ncli      = 100 * 1;
   int ncli = 100 * 1;
   uint64_t nmsg = 100 * 100 * 2;
   printf("client threads: %d, msgs : %ld, total msg: %ld\n", ncli, nmsg, ncli * nmsg);
   for (int i = 0; i < ncli; ++i) { clients.Launch(Client, i, nmsg); }
@@ -188,9 +228,5 @@
   printf("request ok: %ld\n", count.load());
   stop = true;
   servers.WaitAll();
   BOOST_CHECK(request_rc.IsCounted());
   BOOST_CHECK_EQUAL(request_rc.Count(), 1);
   request_rc.Release(shm);
   BOOST_CHECK(!request_rc.IsCounted());
   // BOOST_CHECK_THROW(reply.Count(), int);
}