fix center init mutex.

lichao

2021-05-18 cf05ea3d9f43e4e84d621e1f9d54cbef552b6e2b

 utest/speed_test.cpp

@@ -15,71 +15,83 @@
 *
 * =====================================================================================
 */
#include "robust.h"
#include "util.h"
#include <boost/date_time/posix_time/posix_time.hpp>

using namespace boost::posix_time;
using namespace robust;

BOOST_AUTO_TEST_CASE(SpeedTest)
{
   const std::string shm_name("ShmSpeed");
   ShmRemover auto_remove(shm_name);
   const int mem_size = 1024 * 1024 * 50;
   MQId id = boost::uuids::random_generator()();
   const int timeout = 1000;
   const uint32_t data_size = 4000;
   const std::string proc_id = "demo_proc";
   SharedMemory &shm = TestShm();
   GlobalInit(shm);
   MQId server_id = ShmMsgQueue::NewId();
   ShmMsgQueue server(server_id, shm, 1000);

   const int timeout = 1000;
   const uint32_t data_size = 1001;
   const std::string proc_id = "demo_proc";
   std::atomic<int64_t> nwrite(0);
   std::atomic<int64_t> nread(0);

   std::string str(data_size, 'a');
   auto Writer = [&](int writer_id, uint64_t n) {
      SharedMemory shm(shm_name, mem_size);
      ShmMsgQueue mq(shm, 64);
      std::string str(data_size, 'a');
      MQId cli_id = ShmMsgQueue::NewId();

      ShmMsgQueue mq(cli_id, shm, 64);
      MsgI msg;
      MsgRequestTopic body;
      body.set_topic("topic");
      body.set_data(str);
      auto head(InitMsgHead(GetType(body), proc_id));
      msg.MakeRC(shm, head, body);
      assert(msg.IsCounted());
      DEFER1(msg.Release(shm););
      auto head(InitMsgHead(GetType(body), proc_id, mq.Id()));
      msg.Make(head, body);
      assert(msg.valid());
      DEFER1(msg.Release(););

      for (uint64_t i = 0; i < n; ++i) {
         mq.Send(id, msg, timeout);
         msg.AddRef();
         while (!mq.TrySend({server.Id(), server.AbsAddr()}, msg.Offset())) {}
         ++nwrite;
      }
   };
   auto Reader = [&](int reader_id, std::atomic<bool> *run, bool isfork) {
      SharedMemory shm(shm_name, mem_size);
      ShmMsgQueue mq(id, shm, 1000);
      ShmMsgQueue &mq = server;
      auto now = []() { return steady_clock::now(); };
      auto tm = now();
      while (*run) {
         MsgI msg;
         BHMsgHead head;
         if (mq.Recv(msg, timeout)) {
            DEFER1(msg.Release(shm));
            // ok
         if (mq.TryRecv(msg)) {
            DEFER1(msg.Release());
            tm = now();
            ++nread;
         } else if (isfork) {
            exit(0); // for forked quit after 1s.
            if (now() > tm + 1s) {
               exit(0); // for forked quit after 1s.
            }
         }
      }
   };
   auto State = [&](std::atomic<bool> *run) {
      SharedMemory shm(shm_name, mem_size);
      auto init = shm.get_free_memory();
      printf("shm init : %ld\n", init);
      uint64_t last_read = 0;
      while (*run) {
         auto cur = shm.get_free_memory();
         printf("shm used : %8ld/%ld\n", init - cur, init);
         auto cur_read = nread.load();
         printf("shm used : %8ld/%ld, write: %8ld, read: %8ld, speed: %8ld\n", init - cur, init, nwrite.load(), cur_read, cur_read - last_read);
         last_read = cur_read;
         std::this_thread::sleep_for(1s);
      }
   };

   int nwriters[] = {1, 2, 4};
   int nreaders[] = {1, 2};
   int nwriters[] = {1, 10, 100, 1000};
   int nreaders[] = {2};
   const int64_t total_msg = 1000 * 1000;

   auto Test = [&](auto &www, auto &rrr, bool isfork) {
      for (auto nreader : nreaders) {
         for (auto nwriter : nwriters) {
            const uint64_t nmsg = 1000 * 1000 * 10 / nwriter;
            const uint64_t total_msg = nmsg * nwriter;
            const uint64_t nmsg = total_msg / nwriter;
            std::atomic<bool> run(true);
            std::this_thread::sleep_for(10ms);
            boost::timer::auto_cpu_timer timer;
@@ -101,58 +113,65 @@
   std::atomic<bool> run(true);
   ThreadManager state;
   state.Launch(State, &run);
   DEFER1(run.store(false););

   // typedef ProcessManager Manager;
   // typedef ThreadManager Manager;
   // const bool isfork = IsSameType<Manager, ProcessManager>::value;
   ProcessManager pw, pr;
   printf("================ Testing process io: =======================================================\n");
   Test(pw, pr, true);
   ThreadManager tw, tr;
   printf("---------------- Testing thread io:  -------------------------------------------------------\n");
   Test(tw, tr, false);
   run.store(false);

   if (0) {
      ThreadManager tw, tr;
      printf("---------------- Testing thread io:  -------------------------------------------------------\n");
      Test(tw, tr, false);
   }

   if (1) {
      ProcessManager pw, pr;
      printf("================ Testing process io: =======================================================\n");
      Test(pw, pr, true);
   }
}

// Send Recv Test
BOOST_AUTO_TEST_CASE(SRTest)
{
   const std::string shm_name("ShmSendRecv");
   ShmRemover auto_remove(shm_name);
   const int qlen = 64;
   const size_t msg_length = 1000;
   const size_t msg_length = 100;
   std::string msg_content(msg_length, 'a');
   msg_content[20] = '\0';
   const std::string client_proc_id = "client_proc";
   const std::string server_proc_id = "server_proc";

   SharedMemory shm(shm_name, 1024 * 1024 * 50);
   SharedMemory &shm = TestShm();
   // shm.Remove();
   // return;
   GlobalInit(shm);

   auto Avail = [&]() { return shm.get_free_memory(); };
   auto init_avail = Avail();
   ShmSocket srv(shm, qlen);
   ShmSocket cli(shm, qlen);
   ShmSocket srv(shm, ShmMsgQueue::NewId(), qlen);
   ShmSocket cli(shm, ShmMsgQueue::NewId(), qlen);

   MsgI request_rc;
   MsgRequestTopic req_body;
   req_body.set_topic("topic");
   req_body.set_data(msg_content);
   auto req_head(InitMsgHead(GetType(req_body), client_proc_id));
   req_head.add_route()->set_mq_id(&cli.id(), cli.id().size());
   request_rc.MakeRC(shm, req_head, req_body);
   DEFER1(request_rc.Release(shm));

   MsgRequestTopic reply_body;
   reply_body.set_topic("topic");
   reply_body.set_data(msg_content);
   auto reply_head(InitMsgHead(GetType(reply_body), server_proc_id));
   reply_head.add_route()->set_mq_id(&srv.id(), srv.id().size());
   MsgI reply_rc;
   reply_rc.MakeRC(shm, reply_head, reply_body);
   DEFER1(reply_rc.Release(shm));

   int ncli = 1;
   uint64_t nmsg = 1000 * 1000 * 1;
   std::atomic<uint64_t> count(0);

   std::atomic<ptime> last_time(Now() - seconds(1));
   std::atomic<int64_t> last_time(NowSec() - 1);
   std::atomic<uint64_t> last_count(0);

   auto PrintStatus = [&](int64_t cur) {
      std::cout << "time: " << cur;
      printf(", total msg:%10ld, speed:[%8ld/s], used mem:%8ld\n",
             count.load(), count - last_count.exchange(count), init_avail - Avail());
   };
   auto onRecv = [&](ShmSocket &sock, MsgI &msg, BHMsgHead &head) {
      ++count;
      auto cur = NowSec();
      if (last_time.exchange(cur) < cur) {
         PrintStatus(cur);
      }
   };
   cli.Start(onRecv, 2);

   auto Client = [&](int cli_id, int nmsg) {
      for (int i = 0; i < nmsg; ++i) {
@@ -160,29 +179,14 @@
            MsgRequestTopic req_body;
            req_body.set_topic("topic");
            req_body.set_data(msg_content);
            auto req_head(InitMsgHead(GetType(req_body), client_proc_id));
            return cli.Send(&srv.id(), req_head, req_body);
            auto req_head(InitMsgHead(GetType(req_body), client_proc_id, cli.id()));
            auto route = req_head.add_route();
            route->set_mq_id(cli.id());
            route->set_abs_addr(cli.AbsAddr());
            return cli.Send({srv.id(), srv.AbsAddr()}, req_head, req_body);
         };
         auto ReqRC = [&]() { return cli.Send(&srv.id(), request_rc); };

         if (!ReqRC()) {
            printf("********** client send error.\n");
            continue;
         }
         MsgI msg;
         BHMsgHead head;
         if (!cli.SyncRecv(msg, head, 1000)) {
            printf("********** client recv error.\n");
         } else {
            DEFER1(msg.Release(shm));
            ++count;
            auto cur = Now();
            if (last_time.exchange(cur) < cur) {
               std::cout << "time: " << cur;
               printf(", total msg:%10ld, speed:[%8ld/s], used mem:%8ld, refcount:%d\n",
                      count.load(), count - last_count.exchange(count), init_avail - Avail(), request_rc.Count());
            }
         }
         Req();
      }
   };

@@ -193,23 +197,18 @@

      while (!stop) {
         if (srv.SyncRecv(req, req_head, 10)) {
            DEFER1(req.Release(shm));
            DEFER1(req.Release());

            if (req.ParseHead(req_head) && req_head.type() == kMsgTypeRequestTopic) {
               auto &mqid = req_head.route()[0].mq_id();
               MQId src_id;
               memcpy(&src_id, mqid.data(), sizeof(src_id));
               MQInfo src_mq = {req_head.route()[0].mq_id(), req_head.route()[0].abs_addr()};
               auto Reply = [&]() {
                  MsgRequestTopic reply_body;
                  reply_body.set_topic("topic");
                  reply_body.set_data(msg_content);
                  auto reply_head(InitMsgHead(GetType(reply_body), server_proc_id, req_head.msg_id()));
                  return srv.Send(&src_id, reply_head, reply_body);
                  auto reply_head(InitMsgHead(GetType(reply_body), server_proc_id, srv.id(), req_head.msg_id()));
                  return srv.Send(src_mq, reply_head, reply_body);
               };
               auto ReplyRC = [&]() { return srv.Send(&src_id, reply_rc); };

               if (ReplyRC()) {
               }
               Reply();
            }
         }
      }
@@ -219,13 +218,15 @@
   DEFER1(printf("Request Reply Test:"););

   ThreadManager clients, servers;
   for (int i = 0; i < qlen; ++i) { servers.Launch(Server); }
   int ncli = 100 * 1;
   uint64_t nmsg = 100 * 100 * 2;
   for (int i = 0; i < 2; ++i) { servers.Launch(Server); }
   printf("client threads: %d, msgs : %ld, total msg: %ld\n", ncli, nmsg, ncli * nmsg);
   for (int i = 0; i < ncli; ++i) { clients.Launch(Client, i, nmsg); }
   clients.WaitAll();
   printf("request ok: %ld\n", count.load());
   do {
      std::this_thread::sleep_for(100ms);
   } while (count.load() < ncli * nmsg);
   PrintStatus(NowSec());
   stop = true;
   servers.WaitAll();
   // BOOST_CHECK_THROW(reply.Count(), int);