rename atomic queue io function.

lichao

2021-05-06 7ecd6323ffedbfef92c87c02b2a8680dd53b772c

 utest/speed_test.cpp

@@ -16,53 +16,52 @@
 * =====================================================================================
 */
#include "util.h"
#include <boost/date_time/posix_time/posix_time.hpp>

using namespace boost::posix_time;

BOOST_AUTO_TEST_CASE(SpeedTest)
{
   const std::string shm_name("ShmSpeed");
   ShmRemover auto_remove(shm_name);
   const int mem_size = 1024 * 1024 * 50;
   MQId id = boost::uuids::random_generator()();
   SharedMemory &shm = TestShm();
   GlobalInit(shm);

   MQId id = ShmMsgQueue::NewId();
   const int timeout = 1000;
   const uint32_t data_size = 4000;
   const std::string proc_id = "demo_proc";

   auto Writer = [&](int writer_id, uint64_t n) {
      SharedMemory shm(shm_name, mem_size);
      ShmMsgQueue mq(shm, 64);
      std::string str(data_size, 'a');
      MsgI msg;
      MsgRequestTopic body;
      body.set_topic("topic");
      body.set_data(str);
      auto head(InitMsgHead(GetType(body), proc_id));
      msg.MakeRC(shm, head, body);
      assert(msg.IsCounted());
      DEFER1(msg.Release(shm););
      auto head(InitMsgHead(GetType(body), proc_id, mq.Id()));
      msg.Make(head, body);
      assert(msg.valid());
      DEFER1(msg.Release(););

      for (uint64_t i = 0; i < n; ++i) {
         mq.Send(id, msg, timeout);
         while (!mq.TrySend(id, msg)) {}
      }
   };
   auto Reader = [&](int reader_id, std::atomic<bool> *run, bool isfork) {
      SharedMemory shm(shm_name, mem_size);
      ShmMsgQueue mq(id, shm, 1000);
      auto now = []() { return steady_clock::now(); };
      auto tm = now();
      while (*run) {
         MsgI msg;
         BHMsgHead head;
         if (mq.Recv(msg, timeout)) {
            DEFER1(msg.Release(shm));
            // ok
         if (mq.TryRecv(msg)) {
            DEFER1(msg.Release());
            tm = now();
         } else if (isfork) {
            exit(0); // for forked quit after 1s.
            if (now() > tm + 1s) {
               exit(0); // for forked quit after 1s.
            }
         }
      }
   };
   auto State = [&](std::atomic<bool> *run) {
      SharedMemory shm(shm_name, mem_size);
      auto init = shm.get_free_memory();
      printf("shm init : %ld\n", init);
      while (*run) {
@@ -72,8 +71,8 @@
      }
   };

   int nwriters[] = {1, 2, 4};
   int nreaders[] = {1, 2};
   int nwriters[] = {1, 4, 16};
   int nreaders[] = {1, 4};

   auto Test = [&](auto &www, auto &rrr, bool isfork) {
      for (auto nreader : nreaders) {
@@ -116,43 +115,41 @@
// Send Recv Test
BOOST_AUTO_TEST_CASE(SRTest)
{
   const std::string shm_name("ShmSendRecv");
   ShmRemover auto_remove(shm_name);
   const int qlen = 64;
   const size_t msg_length = 1000;
   const size_t msg_length = 100;
   std::string msg_content(msg_length, 'a');
   msg_content[20] = '\0';
   const std::string client_proc_id = "client_proc";
   const std::string server_proc_id = "server_proc";

   SharedMemory shm(shm_name, 1024 * 1024 * 50);
   SharedMemory &shm = TestShm();
   GlobalInit(shm);

   auto Avail = [&]() { return shm.get_free_memory(); };
   auto init_avail = Avail();
   ShmSocket srv(shm, qlen);
   ShmSocket cli(shm, qlen);

   MsgI request_rc;
   MsgRequestTopic req_body;
   req_body.set_topic("topic");
   req_body.set_data(msg_content);
   auto req_head(InitMsgHead(GetType(req_body), client_proc_id));
   req_head.add_route()->set_mq_id(&cli.id(), cli.id().size());
   request_rc.MakeRC(shm, req_head, req_body);
   DEFER1(request_rc.Release(shm));

   MsgRequestTopic reply_body;
   reply_body.set_topic("topic");
   reply_body.set_data(msg_content);
   auto reply_head(InitMsgHead(GetType(reply_body), server_proc_id));
   reply_head.add_route()->set_mq_id(&srv.id(), srv.id().size());
   MsgI reply_rc;
   reply_rc.MakeRC(shm, reply_head, reply_body);
   DEFER1(reply_rc.Release(shm));

   int ncli = 1;
   uint64_t nmsg = 1000 * 1000 * 1;
   std::atomic<uint64_t> count(0);

   std::atomic<ptime> last_time(Now() - seconds(1));
   std::atomic<int64_t> last_time(NowSec() - 1);
   std::atomic<uint64_t> last_count(0);

   auto PrintStatus = [&](int64_t cur) {
      std::cout << "time: " << cur;
      printf(", total msg:%10ld, speed:[%8ld/s], used mem:%8ld\n",
             count.load(), count - last_count.exchange(count), init_avail - Avail());
   };
   auto onRecv = [&](ShmSocket &sock, MsgI &msg, BHMsgHead &head) {
      ++count;
      auto cur = NowSec();
      if (last_time.exchange(cur) < cur) {
         PrintStatus(cur);
      }
   };
   cli.Start(onRecv, 2);

   auto Client = [&](int cli_id, int nmsg) {
      for (int i = 0; i < nmsg; ++i) {
@@ -160,29 +157,12 @@
            MsgRequestTopic req_body;
            req_body.set_topic("topic");
            req_body.set_data(msg_content);
            auto req_head(InitMsgHead(GetType(req_body), client_proc_id));
            return cli.Send(&srv.id(), req_head, req_body, 100);
            auto req_head(InitMsgHead(GetType(req_body), client_proc_id, cli.id()));
            req_head.add_route()->set_mq_id(cli.id());
            return cli.Send(srv.id(), req_head, req_body);
         };
         auto ReqRC = [&]() { return cli.Send(&srv.id(), request_rc, 1000); };

         if (!ReqRC()) {
            printf("********** client send error.\n");
            continue;
         }
         MsgI msg;
         BHMsgHead head;
         if (!cli.SyncRecv(msg, head, 100)) {
            printf("********** client recv error.\n");
         } else {
            DEFER1(msg.Release(shm));
            ++count;
            auto cur = Now();
            if (last_time.exchange(cur) < cur) {
               std::cout << "time: " << cur;
               printf(", total msg:%10ld, speed:[%8ld/s], used mem:%8ld, refcount:%d\n",
                      count.load(), count - last_count.exchange(count), init_avail - Avail(), request_rc.Count());
            }
         }
         Req();
      }
   };

@@ -193,23 +173,18 @@

      while (!stop) {
         if (srv.SyncRecv(req, req_head, 10)) {
            DEFER1(req.Release(shm));
            DEFER1(req.Release());

            if (req.ParseHead(req_head) && req_head.type() == kMsgTypeRequestTopic) {
               auto &mqid = req_head.route()[0].mq_id();
               MQId src_id;
               memcpy(&src_id, mqid.data(), sizeof(src_id));
               auto src_id = req_head.route()[0].mq_id();
               auto Reply = [&]() {
                  MsgRequestTopic reply_body;
                  reply_body.set_topic("topic");
                  reply_body.set_data(msg_content);
                  auto reply_head(InitMsgHead(GetType(reply_body), server_proc_id, req_head.msg_id()));
                  return srv.Send(&src_id, reply_head, reply_body, 100);
                  auto reply_head(InitMsgHead(GetType(reply_body), server_proc_id, srv.id(), req_head.msg_id()));
                  return srv.Send(src_id, reply_head, reply_body);
               };
               auto ReplyRC = [&]() { return srv.Send(&src_id, reply_rc, 100); };

               if (ReplyRC()) {
               }
               Reply();
            }
         }
      }
@@ -219,13 +194,15 @@
   DEFER1(printf("Request Reply Test:"););

   ThreadManager clients, servers;
   for (int i = 0; i < qlen; ++i) { servers.Launch(Server); }
   int ncli = 100 * 1;
   uint64_t nmsg = 100 * 100 * 2;
   for (int i = 0; i < 2; ++i) { servers.Launch(Server); }
   printf("client threads: %d, msgs : %ld, total msg: %ld\n", ncli, nmsg, ncli * nmsg);
   for (int i = 0; i < ncli; ++i) { clients.Launch(Client, i, nmsg); }
   clients.WaitAll();
   printf("request ok: %ld\n", count.load());
   do {
      std::this_thread::sleep_for(100ms);
   } while (count.load() < ncli * nmsg);
   PrintStatus(NowSec());
   stop = true;
   servers.WaitAll();
   // BOOST_CHECK_THROW(reply.Count(), int);