node remove mq if never registered; refactor.

lichao

2021-04-16 c6964d5af25d4ec7ed9dbe7674dc4e3896b36ead

node remove mq if never registered; refactor.

 box/center.cpp

@@ -97,12 +97,9 @@
    NodeCenter(const std::string &id, const Cleaner &cleaner, const steady_clock::duration offline_time, const steady_clock::duration kill_time) :
        NodeCenter(id, cleaner, duration_cast<seconds>(offline_time).count(), duration_cast<seconds>(kill_time).count()) {}

    const std::string &id() const
    {
        return id_;
    } // no need to lock.
    // center name, no relative to shm.
    const std::string &id() const { return id_; }

    //TODO maybe just return serialized string.
    MsgCommonReply Register(const BHMsgHead &head, MsgRegister &msg)
    {
        if (msg.proc().proc_id() != head.proc_id()) {
@@ -523,7 +520,7 @@
        printf("remove mq : %s\n", r ? "ok" : "failed");
    };

    AddCenter("#center", gc);
    AddCenter("#bhome_center", gc);

    for (auto &kv : Centers()) {
        auto &info = kv.second;

 src/socket.h

@@ -57,6 +57,7 @@
    ShmSocket(Shm &shm, const int len = 12);
    ~ShmSocket();
    static bool Remove(SharedMemory &shm, const MQId &id) { return Queue::Remove(shm, id); }
    bool Remove() { return Remove(shm(), id()); }
    const MQId &id() const { return mq().Id(); }
    // start recv.
    bool Start(int nworker = 1, const RecvCB &onData = RecvCB(), const IdleCB &onIdle = IdleCB());

 src/topic_node.cpp

@@ -35,7 +35,7 @@
} // namespace

TopicNode::TopicNode(SharedMemory &shm) :
    shm_(shm), sock_node_(shm), sock_request_(shm), sock_reply_(shm), sock_sub_(shm), registered_(false)
    shm_(shm), sock_node_(shm), sock_client_(shm), sock_server_(shm), sock_sub_(shm), registered_(false), registered_ever_(false)
{
    // recv msgs to avoid memory leak.
    auto default_ignore_msg = [](ShmSocket &sock, MsgI &imsg, BHMsgHead &head) { return true; };
@@ -46,6 +46,12 @@
{
    Stop();
    SockNode().Stop();
    if (!registered_ever_) {
        SockNode().Remove();
        SockClient().Remove();
        SockServer().Remove();
        SockSub().Remove();
    }
}

void TopicNode::Start(ServerCB const &server_cb, SubDataCB const &sub_cb, RequestResultCB &client_cb, int nworker)
@@ -88,7 +94,9 @@
        bool ok = head.type() == kMsgTypeCommonReply &&
                  msg.ParseBody(rbody) &&
                  IsSuccess(rbody.errmsg().errcode());
        printf("async regisered %s\n", ok ? "ok" : "failed");
        if (ok) {
            registered_ever_.store(true);
        }
        registered_.store(ok);
    };

@@ -112,7 +120,10 @@

bool TopicNode::Heartbeat(ProcInfo &proc, MsgCommonReply &reply_body, const int timeout_ms)
{
    if (!IsRegistered()) { return false; }
    if (!IsRegistered()) {
        SetLastError(eNotRegistered, "Not Registered.");
        return false;
    }

    auto &sock = SockNode();
    MsgHeartbeat body;
@@ -142,7 +153,10 @@

bool TopicNode::ServerRegisterRPC(MsgTopicList &topics, MsgCommonReply &reply_body, const int timeout_ms)
{
    if (!IsRegistered()) { return false; }
    if (!IsRegistered()) {
        SetLastError(eNotRegistered, "Not Registered.");
        return false;
    }

    auto &sock = SockServer();
    MsgRegisterRPC body;
@@ -189,7 +203,10 @@

bool TopicNode::ServerRecvRequest(void *&src_info, std::string &proc_id, MsgRequestTopic &request, const int timeout_ms)
{
    if (!IsRegistered()) { return false; }
    if (!IsRegistered()) {
        SetLastError(eNotRegistered, "Not Registered.");
        return false;
    }

    auto &sock = SockServer();

@@ -210,7 +227,10 @@

bool TopicNode::ServerSendReply(void *src_info, const MsgRequestTopicReply &body)
{
    if (!IsRegistered()) { return false; }
    if (!IsRegistered()) {
        SetLastError(eNotRegistered, "Not Registered.");
        return false;
    }

    auto &sock = SockServer();

@@ -240,7 +260,7 @@
        }
    };

    return SockRequest().Start(onData, nworker);
    return SockClient().Start(onData, nworker);
}

bool TopicNode::ClientAsyncRequest(const MsgRequestTopic &req, std::string &out_msg_id, const RequestResultCB &cb)
@@ -308,10 +328,13 @@

bool TopicNode::ClientSyncRequest(const MsgRequestTopic &request, std::string &out_proc_id, MsgRequestTopicReply &out_reply, const int timeout_ms)
{
    if (!IsRegistered()) { return false; }
    if (!IsRegistered()) {
        SetLastError(eNotRegistered, "Not Registered.");
        return false;
    }

    try {
        auto &sock = SockRequest();
        auto &sock = SockClient();

        BHAddress addr;
        if (ClientQueryRPCTopic(request.topic(), addr, timeout_ms)) {
@@ -323,28 +346,29 @@
            DEFER1(reply_msg.Release(shm_););
            BHMsgHead reply_head;

            if (sock.SendAndRecv(addr.mq_id().data(), head, request, reply_msg, reply_head, timeout_ms) && reply_head.type() == kMsgTypeRequestTopicReply) {
                if (reply_msg.ParseBody(out_reply)) {
            if (sock.SendAndRecv(addr.mq_id().data(), head, request, reply_msg, reply_head, timeout_ms) &&
                reply_head.type() == kMsgTypeRequestTopicReply &&
                reply_msg.ParseBody(out_reply)) {
                    reply_head.mutable_proc_id()->swap(out_proc_id);
                    return true;
                } else {
                    printf("error parse reply.\n");
                }
            }
        } else {
            SetLastError(eNotFound, "remote not found.");
        }
    } catch (...) {
        printf("error recv data. line: %d\n", __LINE__);
        SetLastError(eError, __func__ + std::string(" internal errer."));
    }
    return false;
}

bool TopicNode::ClientQueryRPCTopic(const Topic &topic, bhome::msg::BHAddress &addr, const int timeout_ms)
{
    if (!IsRegistered()) { return false; }
    if (!IsRegistered()) {
        SetLastError(eNotRegistered, "Not Registered.");
        return false;
    }

    auto &sock = SockRequest();
    auto &sock = SockClient();

    if (topic_query_cache_.Find(topic, addr)) {
        return true;
@@ -381,7 +405,10 @@

bool TopicNode::Publish(const MsgPublish &pub, const int timeout_ms)
{
    if (!IsRegistered()) { return false; }
    if (!IsRegistered()) {
        SetLastError(eNotRegistered, "Not Registered.");
        return false;
    }

    try {
        auto &sock = SockPub();
@@ -409,7 +436,10 @@

bool TopicNode::Subscribe(MsgTopicList &topics, MsgCommonReply &reply_body, const int timeout_ms)
{
    if (!IsRegistered()) { return false; }
    if (!IsRegistered()) {
        SetLastError(eNotRegistered, "Not Registered.");
        return false;
    }

    try {
        auto &sock = SockSub();
@@ -455,7 +485,10 @@

bool TopicNode::RecvSub(std::string &proc_id, MsgPublish &pub, const int timeout_ms)
{
    if (!IsRegistered()) { return false; }
    if (!IsRegistered()) {
        SetLastError(eNotRegistered, "Not Registered.");
        return false;
    }

    auto &sock = SockSub();
    MsgI msg;

 src/topic_node.h

@@ -114,17 +114,16 @@
    auto &SockNode() { return sock_node_; }
    auto &SockPub() { return SockNode(); }
    auto &SockSub() { return sock_sub_; }
    auto &SockRequest() { return sock_request_; }
    auto &SockClient() { return SockRequest(); }
    auto &SockReply() { return sock_reply_; }
    auto &SockServer() { return SockReply(); }
    auto &SockClient() { return sock_client_; }
    auto &SockServer() { return sock_server_; }
    bool IsRegistered() const { return registered_.load(); }

    std::atomic<bool> registered_;
    ShmSocket sock_node_;
    ShmSocket sock_request_;
    ShmSocket sock_reply_;
    ShmSocket sock_client_;
    ShmSocket sock_server_;
    ShmSocket sock_sub_;
    std::atomic<bool> registered_;
    std::atomic<bool> registered_ever_;

    TopicQueryCache topic_query_cache_;
};