add api BHQueryProcs.

lichao

2021-05-19 34cd75f77d0ca94dbdba4e6cc9451fe4d33e78b3

 utest/utest.cpp

@@ -1,291 +1,361 @@
#include "center.h"
#include "defs.h"
#include "log.h"
#include "util.h"
#include <atomic>
#include <condition_variable>
#include <stdio.h>
#include <string>
#include <vector>
#include <thread>
#include <chrono>
#include <atomic>
#include <boost/noncopyable.hpp>
#include <boost/timer/timer.hpp>
#include <boost/test/unit_test.hpp>
#include <boost/date_time/posix_time/posix_time.hpp>
#include <boost/date_time/microsec_time_clock.hpp>
#include <boost/uuid/uuid_generators.hpp>
#include "shm_queue.h"
#include "bh_util.h"
#include <vector>

using namespace std::chrono_literals;
namespace
{
bool InitLog()
{
   ns_log::AddLog("/tmp/bhshmq_test.log", true, true);
   ns_log::ResetLogLevel(ns_log::LogLevel::debug);
   return true;
}
static bool g_test_init_log = InitLog();
} // namespace

using namespace bhome_shm;
using namespace bhome_msg;

struct s1000 { char a[1000]; };

typedef std::function<void(void)> FuncVV;
class ScopeCall : private boost::noncopyable {
    FuncVV f_;
public:
    ScopeCall(FuncVV f):f_(f) { f_(); }
    ~ScopeCall() { f_(); }
};
class ThreadManager {
    std::vector<std::thread> threads_;
public:
    ~ThreadManager() { WaitAll(); }
    template <class T, class...P>
    void Launch(T t, P...p) { threads_.emplace_back(t, p...); }
    void WaitAll() {
        for (auto &t : threads_) {
            if (t.joinable()) {
                t.join();
            }
        }
    }
};
class ProcessManager {

};
struct ShmRemover {
    std::string name_;
    ShmRemover(const std::string &name):name_(name) { SharedMemory::Remove(name_); }
    ~ShmRemover() { SharedMemory::Remove(name_); }
};

BOOST_AUTO_TEST_CASE(ShmBasicTest)
SharedMemory &TestShm()
{
    const std::string shm_name("basic");
    ShmRemover auto_remove(shm_name);
    SharedMemory shm(shm_name, 1024*1024*10);

    offset_ptr<const void> p;
    BOOST_CHECK(!p);
    BOOST_CHECK(p.get() == 0);
    p = 0;
    BOOST_CHECK(!p);
    BOOST_CHECK(p.get() == 0);
    const char *str = "basic";
    p = str;
    BOOST_CHECK(p);
    BOOST_CHECK(p.get() == str);
    p = 0;
    BOOST_CHECK(!p);
    BOOST_CHECK(p.get() == 0);


    auto Avail = [&]() { return shm.get_free_memory(); };
    auto init_avail = Avail();

    auto BasicTest = [&](int tid, int nloop) {
        auto Code = [&](int id) {

            typedef ShmObject<s1000> Int;
            std::string name = std::to_string(id);
            auto a0 = Avail();
            Int i1(shm, name);
            auto a1 = Avail();
            BOOST_CHECK_LT(a1, a0);
            printf("s1000 size: %ld\n", a0 - a1);
            i1->a[0] = 5;
            Int i2(shm, name);
            auto a2 = Avail();
            BOOST_CHECK_EQUAL(a1, a2);
            BOOST_CHECK_EQUAL(i1.data(), i2.data());
            int i = i1.Remove();
            BOOST_CHECK_EQUAL(Avail(), a0);

            {
                auto old = Avail();
                void *p = shm.Alloc(1024);
                shm.Dealloc(p);
                BOOST_CHECK_EQUAL(old, Avail());
            }

            bool r = shared_memory_object::remove(shm_name.c_str());
            BOOST_CHECK(r);
        };
        boost::timer::auto_cpu_timer timer;
        for (int i = 0; i < nloop; ++i)
        {
            Code(i + tid*nloop);
        }
    };
    
    boost::timer::auto_cpu_timer timer;
    DEFER1(printf("Basic Test:"););
    ThreadManager threads;
    int nthread = 1;
    int nloop = 1;
    for (int i = 0; i < nthread; ++i)
    {
        threads.Launch(BasicTest, i, nloop);
    }
    printf("end\n");
    BOOST_CHECK_EQUAL(init_avail, Avail());
   static SharedMemory shm("utest_0", 1024 * 1024 * 512);
   return shm;
}

BOOST_AUTO_TEST_CASE(TimedWaitTest)
template <class A, class B>
struct IsSameType {
   static const bool value = false;
};
template <class A>
struct IsSameType<A, A> {
   static const bool value = true;
};

BOOST_AUTO_TEST_CASE(Temp)
{
    const std::string shm_name("shm_wait");
    ShmRemover auto_remove(shm_name);
    SharedMemory shm(shm_name, 1024*1024);
    ShmMsgQueue q(shm, 64);
    for (int i = 0; i < 5; ++i) {
        int ms = i * 100;
        printf("Timeout Test %d: ", ms);
        boost::timer::auto_cpu_timer timer;
        MQId id;
        void *data;
        size_t size;
        bool r = q.Recv(id, data, size, ms);
        BOOST_CHECK(!r);
    }
   const std::string shm_name("ShmTemp");
   ShmRemover auto_remove(shm_name); //remove twice? in case of killed?
   SharedMemory shm(shm_name, 1024 * 1024 * 10);

   typedef std::chrono::steady_clock clock;
   int n = 1000 * 1000;
   std::vector<clock::time_point> tps(n);
   {
      printf("thread switch %d times, ", n);
      boost::timer::auto_cpu_timer timer;
      for (auto &tp : tps) {
         tp = clock::now();
         std::this_thread::yield();
      }
   }
   printf("time: %ld ns\n", (tps.back() - tps.front()).count());
   return;
   // sub topic partial match.
   Topic topics[] = {
       "",
       ".",
       "a",
       "sp",
       "sport",
       "sport.",
       "sport.a",
       "sport.a.b.c",
       "sport.ab.c",
       "sport.basketball",
       "sport.football",
   };
   const char sep = '.';
   auto Adjust = [&](const std::string &user_topic) {
      if (user_topic.empty() || user_topic.back() == sep) {
         return user_topic;
      } else {
         return user_topic + sep;
      }
   };

   for (auto &t : topics) {
      const std::string &a = Adjust(t);
      printf("orig: %20s   adjusted: %20s   parts:[", ("'" + t + "'").c_str(), ('\'' + a + '\'').c_str());

      size_t pos = 0;
      while (true) {
         auto &topic = t;
         pos = topic.find(kTopicSep, pos);
         if (pos == topic.npos || ++pos == topic.size()) {
            // Find1(std::string()); // sub all.
            break;
         } else {
            printf("'%s',", topic.substr(0, pos).c_str());
         }
      }
      printf("]\n");
   }
}

BOOST_AUTO_TEST_CASE(RefCountTest)
BOOST_AUTO_TEST_CASE(PubSubTest)
{
    const std::string shm_name("ShmRefCount");
    ShmRemover auto_remove(shm_name);
    SharedMemory shm(shm_name, 1024*1024);
   SharedMemory &shm = TestShm();
   GlobalInit(shm);

    Msg m0(shm.Alloc(1000), shm.New<RefCount>());
    BOOST_CHECK(m0.IsCounted());
    BOOST_CHECK_EQUAL(m0.Count(), 1);
    Msg m1 = m0;
    BOOST_CHECK(m1.IsCounted());
    BOOST_CHECK_EQUAL(m1.AddRef(), 2);
    BOOST_CHECK_EQUAL(m0.AddRef(), 3);
    BOOST_CHECK_EQUAL(m0.RemoveRef(), 2);
    BOOST_CHECK_EQUAL(m0.RemoveRef(), 1);
    BOOST_CHECK_EQUAL(m1.RemoveRef(), 0);
    BOOST_CHECK_EQUAL(m1.Count(), 0);
   auto Avail = [&]() { return shm.get_free_memory(); };
   auto init_avail = Avail();
   int *flag = shm.FindOrCreate<int>("flag", 123);
   printf("flag = %d\n", *flag);
   ++*flag;
   const std::string sub_proc_id = "subscriber";
   const std::string pub_proc_id = "publisher";

   BHCenter center(shm);
   center.Start();

   Sleep(100ms);

   std::atomic<uint64_t> total_count(0);
   std::atomic<int64_t> last_time(NowSec() - 1);
   std::atomic<uint64_t> last_count(0);

   const uint64_t nmsg = 100 * 2;
   const int timeout = 1000;
   auto Sub = [&](int id, const std::vector<std::string> &topics) {
      DemoNode client("client_" + std::to_string(id), shm);
      MsgTopicList tlist;
      for (auto &t : topics) {
         tlist.add_topic_list(t);
      }
      MsgCommonReply reply_body;
      bool r = client.Subscribe(tlist, reply_body, timeout);
      if (!r) {
         printf("client subscribe failed.\n");
      }
      std::mutex mutex;
      std::condition_variable cv;

      std::atomic<uint64_t> n(0);
      auto OnTopicData = [&](const std::string &proc_id, const MsgPublish &pub) {
         ++total_count;

         auto cur = NowSec();
         if (last_time.exchange(cur) < cur) {
            std::cout << "time: " << cur;
            printf("sub recv, total msg:%10ld, speed:[%8ld/s], used mem:%8ld \n",
                   total_count.load(), total_count - last_count.exchange(total_count), init_avail - Avail());
         }
         if (++n >= nmsg * topics.size()) {
            cv.notify_one();
         }
         // printf("sub %2d recv: %s/%s\n", id, pub.topic().c_str(), pub.data().c_str());
      };
      client.SubscribeStartWorker(OnTopicData, 1);

      std::unique_lock<std::mutex> lk(mutex);
      cv.wait(lk);
   };

   auto Pub = [&](const std::string &topic) {
      DemoNode provider("server_" + topic, shm);

      for (unsigned i = 0; i < nmsg; ++i) {
         std::string data = topic + std::to_string(i) + std::string(1000, '-');
         MsgPublish pub;
         pub.set_topic(topic);
         pub.set_data(data);
         bool r = provider.Publish(pub, 0);
         if (!r) {
            static std::atomic<int> an(0);
            int n = ++an;
            printf("pub %d ret: %s\n", n, r ? "ok" : "fail");
         }
      }
   };
   ThreadManager threads;
   typedef std::vector<Topic> Topics;
   Topics topics;
   for (int i = 0; i < 100; ++i) {
      topics.push_back("t" + std::to_string(i));
   }
   Topics part;
   boost::timer::auto_cpu_timer pubsub_timer;
   for (size_t i = 0; i < topics.size(); ++i) {
      part.push_back(topics[i]);
      threads.Launch(Sub, i, topics);
   }
   Sleep(100ms);
   for (auto &topic : topics) {
      threads.Launch(Pub, topic);
   }
   threads.Launch(Pub, "some_else");

   threads.WaitAll();

   printf("sub recv, total msg:%10ld, speed:[%8ld/s], used mem:%8ld \n",
          total_count.load(), total_count - last_count.exchange(total_count), init_avail - Avail());
}

BOOST_AUTO_TEST_CASE(MsgHeaderTest)
namespace
{
    MsgMetaV1 head;
    BOOST_CHECK_EQUAL(head.self_size_, sizeof(head));
    BOOST_CHECK_EQUAL(head.type_, kMsgTypeNormal);
    BOOST_CHECK_EQUAL(head.tag_, kMsgMetaTag);
    BOOST_CHECK_EQUAL(head.data_size_, 0);
    BOOST_CHECK(head.src_id_ == boost::uuids::nil_uuid());
struct C {
   C() { printf("+C\n"); }
   C(const C &c) { printf("+C(const C&)\n"); }
   void F() { printf("C::F()\n"); }
   ~C() { printf("-C\n"); }
   char arr[100];
};
int F(C &c) { return printf(":::::::::::::F()\n"); }
} // namespace

    head.data_size_ = 100;
    head.src_id_ = boost::uuids::random_generator()();
    head.type_ = 123;
BOOST_AUTO_TEST_CASE(ReqRepTest)
{
   SharedMemory &shm = TestShm();
   GlobalInit(shm);

    char buf[100] = {0};
    head.Pack(buf);
    MsgMetaV1 result;
    result.Parse(buf);
    BOOST_CHECK_EQUAL(memcmp(&head, &result, sizeof(head)), 0);
   auto Avail = [&]() { return shm.get_free_memory(); };
   auto init_avail = Avail();
   int *flag = shm.FindOrCreate<int>("flag", 123);
   printf("flag = %d\n", *flag);
   ++*flag;

   const std::string client_proc_id = "client_proc_";
   const std::string server_proc_id = "server_proc_";

   BHCenter center(shm);
   center.Start();
   std::atomic<bool> run(true);

   auto Client = [&](const std::string &topic, const int nreq) {
      DemoNode client(client_proc_id + topic, shm);

      std::atomic<int> count(0);
      std::string reply;
      auto onRecv = [&](const BHMsgHead &head, const MsgRequestTopicReply &msg) {
         reply = msg.data();
         if (++count >= nreq) {
            printf("count: %d\n", count.load());
         }
      };
      MsgRequestTopic req;
      req.set_topic(topic);
      req.set_data("data " + std::string(100, 'a'));

      client.ClientStartWorker(onRecv, 2);

      boost::timer::auto_cpu_timer timer;
      for (int i = 0; i < nreq; ++i) {
         std::string msg_id;
         if (!client.ClientAsyncRequest(BHAddress(), req, msg_id)) {
            printf("client request failed\n");
            ++count;
         }

         // std::string proc_id;
         // MsgRequestTopicReply reply;
         // if (!client.ClientSyncRequest(req, proc_id, reply, 1000)) {
         //    printf("client request failed\n");
         // }
         // ++count;
      }
      do {
         std::this_thread::sleep_for(100ms);
      } while (count.load() < nreq);
      client.Stop();
      printf("request %s %d done ", topic.c_str(), count.load());
   };

   std::atomic_uint64_t server_msg_count(0);
   auto Server = [&](const std::string &name, const std::vector<std::string> &topics) {
      DemoNode server(name, shm);

      auto onDataSync = [&](const std::string &proc_id, const MsgRequestTopic &request, MsgRequestTopicReply &reply) {
         ++server_msg_count;
         reply.set_data(request.topic() + ':' + request.data());
         return true;
      };
      auto onDataAsync = [&](void *src, std::string &proc_id, MsgRequestTopic &request) {
         ++server_msg_count;
         MsgRequestTopicReply reply;
         reply.set_data(request.topic() + ':' + request.data());
         server.ServerSendReply(src, reply);
      };
      server.ServerStart(onDataAsync);

      MsgTopicList rpc;
      for (auto &topic : topics) {
         rpc.add_topic_list(topic);
      }
      MsgCommonReply reply_body;
      if (!server.ServerRegisterRPC(rpc, reply_body, 100)) {
         printf("server register topic failed\n");
         return;
      }

      while (run) {
         std::this_thread::sleep_for(100ms);
      }
   };
   ThreadManager clients, servers;
   std::vector<Topic> topics = {"topic1", "topic2"};
   servers.Launch(Server, "server", topics);
   Sleep(100ms);
   for (auto &t : topics) {
      clients.Launch(Client, t, 1000 * 100 * 2);
   }
   clients.WaitAll();
   printf("clients done, server replyed: %ld\n", server_msg_count.load());
   run = false;
   servers.WaitAll();
}
BOOST_AUTO_TEST_CASE(RequestReplyTest)

BOOST_AUTO_TEST_CASE(HeartbeatTest)
{
    const std::string shm_name("ShmReqRep");
    ShmRemover auto_remove(shm_name);
    SharedMemory shm(shm_name, 1024*1024*50);
    auto Avail = [&]() { return shm.get_free_memory(); };
    auto init_avail = Avail();
    // DEFER1(BOOST_CHECK_EQUAL(init_avail, Avail()); printf("Request Reply Test shm No Leak.\n"););
   const std::string shm_name("ShmHeartbeat");
   ShmRemover auto_remove(shm_name);
   SharedMemory shm(shm_name, 1024 * 1024 * 50);

    auto f0 = init_avail;
    const int qlen = 64;
    ShmMsgQueue srv(shm, qlen);
    ShmMsgQueue cli(shm, qlen);
    auto f1= shm.get_free_memory();
   BHCenter center(shm);
   center.Start();

    const size_t msg_length = 1000;
    std::string msg_content(msg_length, 'a');
    msg_content[20] = '\0';
    Msg request;
    request.Build(shm, cli.Id(), msg_content.data(), msg_content.size(), true);
    Msg reply(request);
   {

    std::atomic<bool> stop(false);
    std::atomic<uint64_t> count(0);
    using namespace boost::posix_time;
    auto Now = []() { return second_clock::universal_time(); };
    std::atomic<ptime> last_time(Now() - seconds(1));
    std::atomic<uint64_t> last_count(0);

    auto Client = [&](int tid, int nmsg){
        for (int i = 0; i < nmsg; ++i) {
            auto Send = [&]() { return cli.Send(srv.Id(), msg_content.data(), msg_content.size(), 1000); };
            auto SendRefCounted = [&]() { return cli.Send(srv.Id(), request, 1000); };

            if (!Send()) {
                printf("********** client send error.\n");
                continue;
            }
            MQId id;
            void *data = 0;
            size_t size = 0;
            if (!cli.Recv(id, data, size, 1000)) {
                printf("********** client recv error.\n");
            } else {
                DEFER1(free(data));
                if(size != msg_length) {
                    BOOST_CHECK(false);
                }
                ++count;
                auto cur = Now();
                if (last_time.exchange(cur) != cur) {
                    std::cout << "time: " << Now();
                    printf(", total msg:%10ld, speed:%8ld/s, used mem:%8ld, refcount:%d\n",
                           count.load(), count - last_count.exchange(count), init_avail - Avail(), request.Count());
                    last_time = cur;
                }

            }
        }
    };

    auto Server = [&](){
        void *data = 0;
        size_t size = 0;
        MQId src_id;
        while (!stop) {
            if (srv.Recv(src_id, data, size, 100)) {
                DEFER1(free(data));
                auto Send = [&](){ return srv.Send(src_id, data, size, 100); };
                auto SendRefCounted = [&](){ return srv.Send(src_id, reply, 100); };

                if (SendRefCounted()) {
                    if (size != msg_content.size()) {
                        BOOST_TEST(false, "server msg size error");
                    }
                }
            }
        }
    };

    boost::timer::auto_cpu_timer timer;
    DEFER1(printf("Request Reply Test:"););

    ThreadManager clients, servers;
    for (int i = 0; i < qlen; ++i) { servers.Launch(Server); }
    int ncli = 100*1;
    uint64_t nmsg = 100*100;
    printf("client threads: %d, msgs : %ld, total msg: %ld\n", ncli, nmsg, ncli * nmsg);
    for (int i = 0; i < ncli; ++i) { clients.Launch(Client, i, nmsg); }
    clients.WaitAll();
    printf("request ok: %ld\n", count.load());
    stop = true;
    servers.WaitAll();
    BOOST_CHECK(request.IsCounted());
    BOOST_CHECK_EQUAL(request.Count(), 1);
    BOOST_CHECK(reply.IsCounted());
    BOOST_CHECK_EQUAL(reply.Count(), 1);
    if (request.RemoveRef() == 0) {
        BOOST_CHECK_EQUAL(reply.Count(), 0);
        request.FreeFrom(shm);
    }
      DemoNode node("demo_node", shm);
      auto Check = [&]() {
         bool r = node.Heartbeat(100);
         printf("hearbeat ret : %s\n", r ? "ok" : "failed");
      };
      Check();
      for (int i = 0; i < 3; ++i) {
         Sleep(1s);
         Check();
      }
      Sleep(4s);
      for (int i = 0; i < 2; ++i) {
         Sleep(1s);
         Check();
      }
   }
   Sleep(8s);
}
inline int MyMin(int a, int b)
{
   printf("MyMin\n");
   return a < b ? a : b;
}

int test_main(int argc, char *argv[])
{
    printf("test main\n");
    int a = 0;
    int b = 0;
    BOOST_CHECK_EQUAL(a, b);
    return 0;
}
   printf("test main\n");
   int a = 0;
   int b = 0;
   BOOST_CHECK_EQUAL(a, b);
   int n = MyMin(4, 6);
   for (int i = 0; i < n; ++i) {
      printf("i = %d\n", i);
   }

   return 0;
}