refactor.

lichao

2021-03-30 8cbb55f3066f71f5a4328193414d4555c87e96be

refactor.

 src/defs.h

@@ -24,6 +24,8 @@

typedef boost::uuids::uuid MQId;

const MQId kBusQueueId = boost::uuids::string_generator()("01234567-89ab-cdef-8349-1234567890ff");
const MQId kBHBusQueueId = boost::uuids::string_generator()("01234567-89ab-cdef-8349-1234567890ff");
const int kBHCenterPort = 24287;
//TODO center can check shm for previous crash.

#endif // end of include guard: DEFS_KP8LKGD0

 src/pubsub.cpp

@@ -18,17 +18,17 @@
#include "pubsub.h"
#include <chrono>
#include "bh_util.h"
#include "defs.h"

namespace bhome_shm {

using namespace std::chrono_literals;
const MQId kBusQueueId = boost::uuids::string_generator()("01234567-89ab-cdef-8349-1234567890ff");
const int kMaxWorker = 16;
using namespace bhome_msg;

BusManager::BusManager(SharedMemory &shm):
shm_(shm),
busq_(kBusQueueId, shm, 1000),
busq_(kBHBusQueueId, shm, 1000),
run_(false)
{
}

 src/shm.cpp

@@ -18,6 +18,16 @@

#include "shm.h"

namespace bhome_shm {
namespace bhome_shm
{

SharedMemory::SharedMemory(const std::string &name, const uint64_t size)
    : mshm_t(open_or_create, name.c_str(), size, 0, AllowAll()),
      name_(name)
{
}

SharedMemory::~SharedMemory()
{
}
} // namespace bhome_shm

 src/shm.h

@@ -44,14 +44,13 @@
        perm.set_unrestricted();
        return perm;
    }
    void Swap(SharedMemory &a);
public:
    static bool Remove(const std::string &name) {
        return shared_memory_object::remove(name.c_str());
    }
    SharedMemory(const std::string &name, const uint64_t size):
    mshm_t(open_or_create, name.c_str(), size, 0, AllowAll()),
    name_(name)
    {}
    SharedMemory(const std::string &name, const uint64_t size);
    ~SharedMemory();
    std::string name() const { return name_; }
    bool Remove() { return Remove(name()); }

@@ -67,6 +66,7 @@

// ShmObject manages an object in shared memory, but ShmObject itself is not in shared memory.
// works like a smart pointer of an object in shared memory.
// TODO handshake with center, and can be removed if killed.
template <class T>
class ShmObject : private boost::noncopyable {
    static std::string ObjName(const std::string &name) { return "obj" + name; }
@@ -98,7 +98,7 @@
    const Data* data() const { return pdata_; }
    Data* operator->() { return data(); }
    const Data* operator->() const { return data(); }
    virtual bool Remove() { return shm_.destroy<Data>(ObjName(name_).c_str()); }
    bool Remove() { return shm_.destroy<Data>(ObjName(name_).c_str()); }
};

template <class D> using Allocator = allocator<D, SharedMemory::segment_manager>;

 utest/simple_tests.cpp

New file
@@ -0,0 +1,143 @@
/*
 * =====================================================================================
 *
 *       Filename:  simple_tests.cpp
 *
 *    Description:  
 *
 *        Version:  1.0
 *        Created:  2021年03月30日 11时29分40秒
 *       Revision:  none
 *       Compiler:  gcc
 *
 *         Author:  YOUR NAME (), 
 *   Organization:  
 *
 * =====================================================================================
 */

#include "util.h"

struct s1000 { char a[1000]; };


BOOST_AUTO_TEST_CASE(BasicTest)
{
    const std::string shm_name("basic");
    ShmRemover auto_remove(shm_name);
    SharedMemory shm(shm_name, 1024*1024*10);
    auto Avail = [&]() { return shm.get_free_memory(); };

    offset_ptr<const void> p;
    BOOST_CHECK(!p);
    BOOST_CHECK(p.get() == 0);
    p = 0;
    BOOST_CHECK(!p);
    BOOST_CHECK(p.get() == 0);
    const char *str = "basic";
    p = str;
    BOOST_CHECK(p);
    BOOST_CHECK(p.get() == str);
    p = 0;
    BOOST_CHECK(!p);
    BOOST_CHECK(p.get() == 0);


    auto init_avail = Avail();

    auto BasicTest = [&](int tid, int nloop) {
        auto Code = [&](int id) {

            typedef ShmObject<s1000> Int;
            std::string name = std::to_string(id);
            auto a0 = Avail();
            Int i1(shm, name);
            auto a1 = Avail();
            BOOST_CHECK_LT(a1, a0);
            printf("s1000 size: %ld\n", a0 - a1);
            i1->a[0] = 5;
            Int i2(shm, name);
            auto a2 = Avail();
            BOOST_CHECK_EQUAL(a1, a2);
            BOOST_CHECK_EQUAL(i1.data(), i2.data());
            int i = i1.Remove();
            BOOST_CHECK_EQUAL(Avail(), a0);

            {
                auto old = Avail();
                void *p = shm.Alloc(1024);
                shm.Dealloc(p);
                BOOST_CHECK_EQUAL(old, Avail());
            }

            bool r = shared_memory_object::remove(shm_name.c_str());
            BOOST_CHECK(r);
        };
        for (int i = 0; i < nloop; ++i) {
            Code(i + tid*nloop);
        }
    };
    
    // boost::timer::auto_cpu_timer timer;
    ThreadManager threads;
    int nthread = 1;
    int nloop = 1;
    for (int i = 0; i < nthread; ++i)
    {
        threads.Launch(BasicTest, i, nloop);
    }
    BOOST_CHECK_EQUAL(init_avail, Avail());
}

BOOST_AUTO_TEST_CASE(ForkTest)
{
    ProcessManager procs;
    const int nproc = 10;

    printf("Testing fork:\n");

    auto child = [&](int id) {
        std::this_thread::sleep_for(100ms *id);
        printf("child id: %3d/%d ends\r", id, nproc);
    };

    for (int i = 0; i < nproc; ++i) {
        procs.Launch(child, i+1);
    }
}

BOOST_AUTO_TEST_CASE(TimedWaitTest)
{
    const std::string shm_name("shm_wait");
    ShmRemover auto_remove(shm_name);
    SharedMemory shm(shm_name, 1024*1024);
    ShmMsgQueue q(shm, 64);
    for (int i = 0; i < 2; ++i) {
        int ms = i * 100;
        printf("Timeout Test %4d: ", ms);
        boost::timer::auto_cpu_timer timer;
        BHMsg msg;
        bool r = q.Recv(msg, ms);
        BOOST_CHECK(!r);
    }
}

BOOST_AUTO_TEST_CASE(RefCountTest)
{
    const std::string shm_name("ShmRefCount");
    ShmRemover auto_remove(shm_name);
    SharedMemory shm(shm_name, 1024*1024);

    MsgI m0(shm.Alloc(1000), shm.New<RefCount>());
    BOOST_CHECK(m0.IsCounted());
    BOOST_CHECK_EQUAL(m0.Count(), 1);
    MsgI m1 = m0;
    BOOST_CHECK(m1.IsCounted());
    BOOST_CHECK_EQUAL(m1.AddRef(), 2);
    BOOST_CHECK_EQUAL(m0.AddRef(), 3);
    BOOST_CHECK_EQUAL(m0.Release(shm), 2);
    BOOST_CHECK_EQUAL(m0.Release(shm), 1);
    BOOST_CHECK_EQUAL(m1.Release(shm), 0);
    BOOST_CHECK(!m1.IsCounted());
}


 utest/speed_test.cpp

New file
@@ -0,0 +1,197 @@
/*
 * =====================================================================================
 *
 *       Filename:  speed_test.cpp
 *
 *    Description:  
 *
 *        Version:  1.0
 *        Created:  2021年03月30日 11时35分21秒
 *       Revision:  none
 *       Compiler:  gcc
 *
 *         Author:  Li Chao (), 
 *   Organization:  
 *
 * =====================================================================================
 */
#include "util.h"
#include <boost/date_time/posix_time/posix_time.hpp>

using namespace boost::posix_time;

BOOST_AUTO_TEST_CASE(SpeedTest)
{
    const std::string shm_name("ShmSpeed");
    ShmRemover auto_remove(shm_name);
    const int mem_size = 1024*1024*50;
    MQId id = boost::uuids::random_generator()();
    const int timeout = 100;
    const uint32_t data_size = 4000;

    auto Writer = [&](int writer_id, uint64_t n) {
        SharedMemory shm(shm_name, mem_size);
        ShmMsgQueue mq(shm, 64);
        std::string str(data_size, 'a');
        MsgI msg;
        DEFER1(msg.Release(shm););
        msg.MakeRC(shm, MakeRequest(mq.Id(), str.data(), str.size()));
        for (uint64_t i = 0; i < n; ++i) {
            // mq.Send(id, str.data(), str.size(), timeout);
            mq.Send(id, msg, timeout);
        }
    };
    auto Reader = [&](int reader_id, std::atomic<bool> *run, bool isfork){
        SharedMemory shm(shm_name, mem_size);
        ShmMsgQueue mq(id, shm, 1000);
        while(*run) {
            BHMsg msg;
            if (mq.Recv(msg, timeout)) {
                // ok
            } else if (isfork) {
                exit(0); // for forked quit after 1s.
            }
        }
    };
    auto State = [&](std::atomic<bool> *run){
        SharedMemory shm(shm_name, mem_size);
        auto init = shm.get_free_memory();
        printf("shm init : %ld\n", init);
        while (*run) {
            auto cur = shm.get_free_memory();
            printf("shm used : %8ld/%ld\n", init - cur, init);
            std::this_thread::sleep_for(1s);
        }
    };

    int nwriters[] = {1,2,4};
    int nreaders[] = {1,2};

    auto Test = [&](auto &www, auto &rrr, bool isfork) {
        for (auto nreader : nreaders) {
            for (auto nwriter : nwriters) {
                const uint64_t nmsg = 1000 * 1000 * 10 / nwriter;
                const uint64_t total_msg = nmsg * nwriter;
                std::atomic<bool> run(true);
                std::this_thread::sleep_for(10ms);
                boost::timer::auto_cpu_timer timer;
                for (int i = 0; i < nreader; ++i) {
                    rrr.Launch(Reader, i, &run, isfork);
                }
                for (int i = 0; i < nwriter; ++i) {
                    www.Launch(Writer, i, nmsg);
                }
                www.WaitAll();
                run.store(false);
                rrr.WaitAll();
                printf("%3d Write %ld msg  R(%3d) W(%3d), : ", getpid(), total_msg, nreader, nwriter);
            }
        }
    };

    std::atomic<bool> run(true);
    ThreadManager state;
    state.Launch(State, &run);
    // typedef ProcessManager Manager;
    // typedef ThreadManager Manager;
    // const bool isfork = IsSameType<Manager, ProcessManager>::value;
    ProcessManager pw, pr;
    printf("================ Testing process io: =======================================================\n");
    Test(pw, pr, true);
    ThreadManager tw, tr;
    printf("---------------- Testing thread io:  -------------------------------------------------------\n");
    Test(tw, tr, false);
    run.store(false);
}

// Request Reply Test
BOOST_AUTO_TEST_CASE(RRTest)
{
    const std::string shm_name("ShmReqRep");
    ShmRemover auto_remove(shm_name);
    const int qlen = 64;
    const size_t msg_length = 1000;
    std::string msg_content(msg_length, 'a');
    msg_content[20] = '\0';

    SharedMemory shm(shm_name, 1024*1024*50);
    auto Avail = [&]() { return shm.get_free_memory(); };
    auto init_avail = Avail();
    ShmMsgQueue srv(shm, qlen);
    ShmMsgQueue cli(shm, qlen);

    MsgI request_rc;
    request_rc.MakeRC(shm, MakeRequest(cli.Id(), msg_content.data(), msg_content.size()));
    MsgI reply_rc;
    reply_rc.MakeRC(shm, MakeReply(msg_content.data(), msg_content.size()));

    std::atomic<uint64_t> count(0);

    std::atomic<ptime> last_time(Now() - seconds(1));
    std::atomic<uint64_t> last_count(0);

    auto Client = [&](int cli_id, int nmsg){
        for (int i = 0; i < nmsg; ++i) {
            auto Req = [&]() {
                return cli.Send(srv.Id(), MakeRequest(cli.Id(), msg_content.data(), msg_content.size()), 100);
            };
            auto ReqRC = [&]() { return cli.Send(srv.Id(), request_rc, 1000); };

            if (!ReqRC()) {
                printf("********** client send error.\n");
                continue;
            }
            BHMsg msg;
            if (!cli.Recv(msg, 1000)) {
                printf("********** client recv error.\n");
            } else {
                ++count;
                auto cur = Now();
                if (last_time.exchange(cur) < cur) {
                    std::cout << "time: " << cur;
                    printf(", total msg:%10ld, speed:[%8ld/s], used mem:%8ld, refcount:%d\n",
                           count.load(), count - last_count.exchange(count), init_avail - Avail(), request_rc.Count());
                }

            }
        }
    };

    std::atomic<bool> stop(false);
    auto Server = [&](){
        BHMsg req;
        while (!stop) {
            if (srv.Recv(req, 100) && req.type() == kMsgTypeRequest) {
                auto &mqid = req.route()[0].mq_id();
                MQId src_id;
                memcpy(&src_id, mqid.data(), sizeof(src_id));
                auto Reply = [&]() {
                    return srv.Send(src_id, MakeReply(msg_content.data(), msg_content.size()), 100);
                };
                auto ReplyRC = [&](){ return srv.Send(src_id, reply_rc, 100); };

                if (ReplyRC()) {
                }
            }
        }
    };

    boost::timer::auto_cpu_timer timer;
    DEFER1(printf("Request Reply Test:"););

    ThreadManager clients, servers;
    for (int i = 0; i < qlen; ++i) { servers.Launch(Server); }
    int ncli = 100*1;
    uint64_t nmsg = 100*100*2;
    printf("client threads: %d, msgs : %ld, total msg: %ld\n", ncli, nmsg, ncli * nmsg);
    for (int i = 0; i < ncli; ++i) { clients.Launch(Client, i, nmsg); }
    clients.WaitAll();
    printf("request ok: %ld\n", count.load());
    stop = true;
    servers.WaitAll();
    BOOST_CHECK(request_rc.IsCounted());
    BOOST_CHECK_EQUAL(request_rc.Count(), 1);
    request_rc.Release(shm);
    BOOST_CHECK(!request_rc.IsCounted());
    // BOOST_CHECK_THROW(reply.Count(), int);
}

 utest/utest.cpp

@@ -2,391 +2,42 @@
#include <string>
#include <vector>
#include <thread>
#include <chrono>
#include <atomic>
#include <boost/noncopyable.hpp>
#include <boost/timer/timer.hpp>
#include <boost/test/unit_test.hpp>
#include <boost/date_time/posix_time/posix_time.hpp>
#include <boost/date_time/microsec_time_clock.hpp>
#include <boost/uuid/uuid_generators.hpp>
#include <boost/uuid/uuid_io.hpp>
#include "shm_queue.h"
#include "bh_util.h"
#include <sys/types.h>
#include <sys/wait.h>
#include "pubsub.h"
#include "defs.h"

using namespace std::chrono_literals;
using namespace bhome_msg;
using namespace bhome_shm;

using namespace boost::posix_time;
auto Now = []() { return second_clock::universal_time(); };

auto F()
{
    return [](){};
}
struct s1000 { char a[1000]; };

typedef std::function<void(void)> FuncVV;
class ScopeCall : private boost::noncopyable {
    FuncVV f_;
public:
    ScopeCall(FuncVV f):f_(f) { f_(); }
    ~ScopeCall() { f_(); }
};
class ThreadManager {
    std::vector<std::thread> threads_;
public:
    ~ThreadManager() { WaitAll(); }
    template <class T, class...P>
    void Launch(T t, P...p) { threads_.emplace_back(t, p...); }
    void WaitAll() {
        for (auto &t : threads_) {
            if (t.joinable()) {
                t.join();
            }
        }
    }
};
class ProcessManager {
    std::vector<pid_t> procs_;
public:
    ~ProcessManager() { WaitAll(); }
    template <class T, class ...P>
    void Launch(T t, P...p) {
        auto pid = fork();
        if (pid == 0) {
            // child
            t(p...);
            exit(0);
        } else if (pid != -1) { // Ok
            procs_.push_back(pid);
        }
    };
    void WaitAll() {
        for (auto &pid: procs_) {
            int status = 0;
            int options = WUNTRACED | WCONTINUED;
            waitpid(pid, &status, options);
        }
        procs_.clear();
    }
};
struct ShmRemover {
    std::string name_;
    ShmRemover(const std::string &name):name_(name) { SharedMemory::Remove(name_); }
    ~ShmRemover() { SharedMemory::Remove(name_); }
};
#include "util.h"

template <class A, class B> struct IsSameType { static const bool value = false; };
template <class A> struct IsSameType<A,A> { static const bool value = true; };

BOOST_AUTO_TEST_CASE(BasicTest)

BOOST_AUTO_TEST_CASE(ShmTest)
{
    const std::string shm_name("basic");
    ShmRemover auto_remove(shm_name);
    SharedMemory shm(shm_name, 1024*1024*10);
    auto Avail = [&]() { return shm.get_free_memory(); };

    offset_ptr<const void> p;
    BOOST_CHECK(!p);
    BOOST_CHECK(p.get() == 0);
    p = 0;
    BOOST_CHECK(!p);
    BOOST_CHECK(p.get() == 0);
    const char *str = "basic";
    p = str;
    BOOST_CHECK(p);
    BOOST_CHECK(p.get() == str);
    p = 0;
    BOOST_CHECK(!p);
    BOOST_CHECK(p.get() == 0);


    auto init_avail = Avail();

    auto BasicTest = [&](int tid, int nloop) {
        auto Code = [&](int id) {

            typedef ShmObject<s1000> Int;
            std::string name = std::to_string(id);
            auto a0 = Avail();
            Int i1(shm, name);
            auto a1 = Avail();
            BOOST_CHECK_LT(a1, a0);
            printf("s1000 size: %ld\n", a0 - a1);
            i1->a[0] = 5;
            Int i2(shm, name);
            auto a2 = Avail();
            BOOST_CHECK_EQUAL(a1, a2);
            BOOST_CHECK_EQUAL(i1.data(), i2.data());
            int i = i1.Remove();
            BOOST_CHECK_EQUAL(Avail(), a0);

            {
                auto old = Avail();
                void *p = shm.Alloc(1024);
                shm.Dealloc(p);
                BOOST_CHECK_EQUAL(old, Avail());
            }

            bool r = shared_memory_object::remove(shm_name.c_str());
            BOOST_CHECK(r);
        };
        for (int i = 0; i < nloop; ++i) {
            Code(i + tid*nloop);
        }
    };
    
    // boost::timer::auto_cpu_timer timer;
    ThreadManager threads;
    int nthread = 1;
    int nloop = 1;
    for (int i = 0; i < nthread; ++i)
    const int size = 1024*1024;
    const std::string shm_name("ShmRemoveTest");
    SharedMemory m0(shm_name, size);
    int *p = m0.find_or_construct<int>("abc")(100);
    if (p) {
        printf("*p = %d\n", *p);
        ++*p;
    }
    {
        threads.Launch(BasicTest, i, nloop);
        SharedMemory m1(shm_name, size);
        m1.Remove();
        // m1.Remove();
    }
    BOOST_CHECK_EQUAL(init_avail, Avail());
}

BOOST_AUTO_TEST_CASE(ForkTest)
{
    ProcessManager procs;
    const int nproc = 10;

    printf("Testing fork:\n");

    auto child = [&](int id) {
        std::this_thread::sleep_for(100ms *id);
        printf("child id: %3d/%d ends\r", id, nproc);
    };

    for (int i = 0; i < nproc; ++i) {
        procs.Launch(child, i+1);
    if (p) {
        printf("again *p = %d\n", *p);
        // ++*p;
    }
}

BOOST_AUTO_TEST_CASE(TimedWaitTest)
{
    const std::string shm_name("shm_wait");
    ShmRemover auto_remove(shm_name);
    SharedMemory shm(shm_name, 1024*1024);
    ShmMsgQueue q(shm, 64);
    for (int i = 0; i < 2; ++i) {
        int ms = i * 100;
        printf("Timeout Test %4d: ", ms);
        boost::timer::auto_cpu_timer timer;
        BHMsg msg;
        bool r = q.Recv(msg, ms);
        BOOST_CHECK(!r);
    }
}

BOOST_AUTO_TEST_CASE(RefCountTest)
{
    const std::string shm_name("ShmRefCount");
    ShmRemover auto_remove(shm_name);
    SharedMemory shm(shm_name, 1024*1024);

    MsgI m0(shm.Alloc(1000), shm.New<RefCount>());
    BOOST_CHECK(m0.IsCounted());
    BOOST_CHECK_EQUAL(m0.Count(), 1);
    MsgI m1 = m0;
    BOOST_CHECK(m1.IsCounted());
    BOOST_CHECK_EQUAL(m1.AddRef(), 2);
    BOOST_CHECK_EQUAL(m0.AddRef(), 3);
    BOOST_CHECK_EQUAL(m0.Release(shm), 2);
    BOOST_CHECK_EQUAL(m0.Release(shm), 1);
    BOOST_CHECK_EQUAL(m1.Release(shm), 0);
    BOOST_CHECK(!m1.IsCounted());
}



BOOST_AUTO_TEST_CASE(SpeedTest)
{
    const std::string shm_name("ShmSpeed");
    ShmRemover auto_remove(shm_name);
    const int mem_size = 1024*1024*50;
    MQId id = boost::uuids::random_generator()();
    const int timeout = 100;
    const uint32_t data_size = 4000;

    auto Writer = [&](int writer_id, uint64_t n) {
        SharedMemory shm(shm_name, mem_size);
        ShmMsgQueue mq(shm, 64);
        std::string str(data_size, 'a');
        MsgI msg;
        DEFER1(msg.Release(shm););
        msg.MakeRC(shm, MakeRequest(mq.Id(), str.data(), str.size()));
        for (uint64_t i = 0; i < n; ++i) {
            // mq.Send(id, str.data(), str.size(), timeout);
            mq.Send(id, msg, timeout);
        }
    };
    auto Reader = [&](int reader_id, std::atomic<bool> *run, bool isfork){
        SharedMemory shm(shm_name, mem_size);
        ShmMsgQueue mq(id, shm, 1000);
        while(*run) {
            BHMsg msg;
            if (mq.Recv(msg, timeout)) {
                // ok
            } else if (isfork) {
                exit(0); // for forked quit after 1s.
            }
        }
    };
    auto State = [&](std::atomic<bool> *run){
        SharedMemory shm(shm_name, mem_size);
        auto init = shm.get_free_memory();
        printf("shm init : %ld\n", init);
        while (*run) {
            auto cur = shm.get_free_memory();
            printf("shm used : %8ld/%ld\n", init - cur, init);
            std::this_thread::sleep_for(1s);
        }
    };

    int nwriters[] = {1,2,4};
    int nreaders[] = {1,2};

    auto Test = [&](auto &www, auto &rrr, bool isfork) {
        for (auto nreader : nreaders) {
            for (auto nwriter : nwriters) {
                const uint64_t nmsg = 1000 * 1000 * 10 / nwriter;
                const uint64_t total_msg = nmsg * nwriter;
                std::atomic<bool> run(true);
                std::this_thread::sleep_for(10ms);
                boost::timer::auto_cpu_timer timer;
                for (int i = 0; i < nreader; ++i) {
                    rrr.Launch(Reader, i, &run, isfork);
                }
                for (int i = 0; i < nwriter; ++i) {
                    www.Launch(Writer, i, nmsg);
                }
                www.WaitAll();
                run.store(false);
                rrr.WaitAll();
                printf("%3d Write %ld msg  R(%3d) W(%3d), : ", getpid(), total_msg, nreader, nwriter);
            }
        }
    };

    std::atomic<bool> run(true);
    ThreadManager state;
    state.Launch(State, &run);
    // typedef ProcessManager Manager;
    // typedef ThreadManager Manager;
    // const bool isfork = IsSameType<Manager, ProcessManager>::value;
    ProcessManager pw, pr;
    printf("================ Testing process io: =======================================================\n");
    Test(pw, pr, true);
    ThreadManager tw, tr;
    printf("---------------- Testing thread io:  -------------------------------------------------------\n");
    Test(tw, tr, false);
    run.store(false);
}

// Request Reply Test
BOOST_AUTO_TEST_CASE(RRTest)
{
    const std::string shm_name("ShmReqRep");
    ShmRemover auto_remove(shm_name);
    const int qlen = 64;
    const size_t msg_length = 1000;
    std::string msg_content(msg_length, 'a');
    msg_content[20] = '\0';

    SharedMemory shm(shm_name, 1024*1024*50);
    auto Avail = [&]() { return shm.get_free_memory(); };
    auto init_avail = Avail();
    ShmMsgQueue srv(shm, qlen);
    ShmMsgQueue cli(shm, qlen);

    MsgI request_rc;
    request_rc.MakeRC(shm, MakeRequest(cli.Id(), msg_content.data(), msg_content.size()));
    MsgI reply_rc;
    reply_rc.MakeRC(shm, MakeReply(msg_content.data(), msg_content.size()));

    std::atomic<uint64_t> count(0);

    std::atomic<ptime> last_time(Now() - seconds(1));
    std::atomic<uint64_t> last_count(0);

    auto Client = [&](int cli_id, int nmsg){
        for (int i = 0; i < nmsg; ++i) {
            auto Req = [&]() {
                return cli.Send(srv.Id(), MakeRequest(cli.Id(), msg_content.data(), msg_content.size()), 100);
            };
            auto ReqRC = [&]() { return cli.Send(srv.Id(), request_rc, 1000); };

            if (!ReqRC()) {
                printf("********** client send error.\n");
                continue;
            }
            BHMsg msg;
            if (!cli.Recv(msg, 1000)) {
                printf("********** client recv error.\n");
            } else {
                ++count;
                auto cur = Now();
                if (last_time.exchange(cur) < cur) {
                    std::cout << "time: " << cur;
                    printf(", total msg:%10ld, speed:[%8ld/s], used mem:%8ld, refcount:%d\n",
                           count.load(), count - last_count.exchange(count), init_avail - Avail(), request_rc.Count());
                }

            }
        }
    };

    std::atomic<bool> stop(false);
    auto Server = [&](){
        BHMsg req;
        while (!stop) {
            if (srv.Recv(req, 100) && req.type() == kMsgTypeRequest) {
                auto &mqid = req.route()[0].mq_id();
                MQId src_id;
                memcpy(&src_id, mqid.data(), sizeof(src_id));
                auto Reply = [&]() {
                    return srv.Send(src_id, MakeReply(msg_content.data(), msg_content.size()), 100);
                };
                auto ReplyRC = [&](){ return srv.Send(src_id, reply_rc, 100); };

                if (ReplyRC()) {
                }
            }
        }
    };

    boost::timer::auto_cpu_timer timer;
    DEFER1(printf("Request Reply Test:"););

    ThreadManager clients, servers;
    for (int i = 0; i < qlen; ++i) { servers.Launch(Server); }
    int ncli = 100*1;
    uint64_t nmsg = 100*100*2;
    printf("client threads: %d, msgs : %ld, total msg: %ld\n", ncli, nmsg, ncli * nmsg);
    for (int i = 0; i < ncli; ++i) { clients.Launch(Client, i, nmsg); }
    clients.WaitAll();
    printf("request ok: %ld\n", count.load());
    stop = true;
    servers.WaitAll();
    BOOST_CHECK(request_rc.IsCounted());
    BOOST_CHECK_EQUAL(request_rc.Count(), 1);
    request_rc.Release(shm);
    BOOST_CHECK(!request_rc.IsCounted());
    // BOOST_CHECK_THROW(reply.Count(), int);
}

BOOST_AUTO_TEST_CASE(PubSubTest)
{
    const std::string shm_name("ShmPubSub");
    ShmRemover auto_remove(shm_name);
    ShmRemover auto_remove(shm_name); //remove twice? in case of killed?
    SharedMemory shm(shm_name, 1024*1024*50);
    auto Avail = [&]() { return shm.get_free_memory(); };
    auto init_avail = Avail();
@@ -404,7 +55,7 @@
    const int timeout = 1000;
    auto Sub = [&](int id, const std::vector<std::string> &topics) {
        ShmMsgQueue client(shm, 8);
        client.Send(kBusQueueId, MakeSub(client.Id(), topics), timeout);
        client.Send(kBHBusQueueId, MakeSub(client.Id(), topics), timeout);
        for (int i = 0; i < nmsg * topics.size(); ++i) {
            BHMsg msg;
            if (client.Recv(msg, 1000)) {
@@ -434,7 +85,7 @@
        ShmMsgQueue provider(shm, 0);
        for (int i = 0; i < nmsg; ++i) {
            std::string data = topic + std::to_string(i);
            bool r = provider.Send(kBusQueueId, MakePub(topic, data.data(), data.size()), timeout);
            bool r = provider.Send(kBHBusQueueId, MakePub(topic, data.data(), data.size()), timeout);
            if (!r) {
                printf("pub ret: %s\n", r ? "ok" : "fail");
            }

 utest/util.h

New file
@@ -0,0 +1,99 @@
/*
 * =====================================================================================
 *
 *       Filename:  util.h
 *
 *    Description:  
 *
 *        Version:  1.0
 *        Created:  2021年03月30日 11时24分26秒
 *       Revision:  none
 *       Compiler:  gcc
 *
 *         Author:  Li Chao (), 
 *   Organization:  
 *
 * =====================================================================================
 */

#ifndef UTIL_W8A0OA5U
#define UTIL_W8A0OA5U

#include <functional>
#include <vector>
#include <thread>
#include <stdlib.h>
#include <chrono>
#include <sys/types.h>
#include <sys/wait.h>
#include <boost/noncopyable.hpp>
#include <boost/timer/timer.hpp>
#include <boost/test/unit_test.hpp>
#include <boost/date_time/posix_time/posix_time.hpp>
#include "shm.h"
#include "shm_queue.h"
#include "msg.h"
#include "bh_util.h"

using namespace boost::posix_time;
inline ptime Now() { return second_clock::universal_time(); };

using namespace std::chrono_literals;

typedef std::function<void(void)> FuncVV;

class ScopeCall : private boost::noncopyable {
    FuncVV f_;
public:
    ScopeCall(FuncVV f):f_(f) { f_(); }
    ~ScopeCall() { f_(); }
};
class ThreadManager {
    std::vector<std::thread> threads_;
public:
    ~ThreadManager() { WaitAll(); }
    template <class T, class...P>
    void Launch(T t, P...p) { threads_.emplace_back(t, p...); }
    void WaitAll() {
        for (auto &t : threads_) {
            if (t.joinable()) {
                t.join();
            }
        }
    }
};
class ProcessManager {
    std::vector<pid_t> procs_;
public:
    ~ProcessManager() { WaitAll(); }
    template <class T, class ...P>
    void Launch(T t, P...p) {
        auto pid = fork();
        if (pid == 0) {
            // child
            t(p...);
            exit(0);
        } else if (pid != -1) { // Ok
            procs_.push_back(pid);
        }
    };
    void WaitAll() {
        for (auto &pid: procs_) {
            int status = 0;
            int options = WUNTRACED | WCONTINUED;
            waitpid(pid, &status, options);
        }
        procs_.clear();
    }
};

using namespace bhome_shm;
using namespace bhome_msg;

struct ShmRemover {
    std::string name_;
    ShmRemover(const std::string &name):name_(name) { SharedMemory::Remove(name_); }
    ~ShmRemover() { SharedMemory::Remove(name_); }
};

#endif // end of include guard: UTIL_W8A0OA5U