socket send using abs addr, avoid shm find by id.

lichao

2021-05-17 cab831748a2a9cc18b7f18f3b5e14a4374b7ab68

 box/center.cpp

@@ -105,17 +105,18 @@
      auto it = msgs_.begin();
      while (it != msgs_.end() && --limit > 0) {
         ShmMsg msg(it->second);
         if (msg.Count() == 0) {
         auto Free = [&]() {
            msg.Free();
            it = msgs_.erase(it);
            ++n;
         } else if (msg.timestamp() + 60 < NowSec()) {
            msg.Free();
            it = msgs_.erase(it);
            ++n;
            // LOG_DEBUG() << "release timeout msg, someone crashed.";
         } else {
         };
         int n = now - msg.timestamp();
         if (n < 10) {
            ++it;
         } else if (msg.Count() == 0) {
            Free();
         } else if (n > 60) {
            Free();
         }
      }
      if (n > 0) {
@@ -181,22 +182,24 @@
   typedef std::unordered_map<Address, std::set<Topic>> AddressTopics;

   struct NodeInfo {
      ProcState state_;             // state
      std::set<Address> addrs_;     // registered mqs
      ProcInfo proc_;               //
      AddressTopics services_;      // address: topics
      AddressTopics subscriptions_; // address: topics
      ProcState state_;               // state
      std::map<MQId, int64_t> addrs_; // registered mqs
      ProcInfo proc_;                 //
      AddressTopics services_;        // address: topics
      AddressTopics subscriptions_;   // address: topics
   };
   typedef std::shared_ptr<NodeInfo> Node;
   typedef std::weak_ptr<NodeInfo> WeakNode;

   struct TopicDest {
      Address mq_;
      MQId mq_id_;
      int64_t mq_abs_addr_;
      WeakNode weak_node_;
      bool operator<(const TopicDest &a) const { return mq_ < a.mq_; }
      bool operator<(const TopicDest &a) const { return mq_id_ < a.mq_id_; }
   };
   inline MQId SrcAddr(const BHMsgHead &head) { return head.route(0).mq_id(); }
   inline bool MatchAddr(std::set<Address> const &addrs, const Address &addr) { return addrs.find(addr) != addrs.end(); }
   inline int64_t SrcAbsAddr(const BHMsgHead &head) { return head.route(0).abs_addr(); }
   inline bool MatchAddr(std::map<Address, int64_t> const &addrs, const Address &addr) { return addrs.find(addr) != addrs.end(); }

   NodeCenter(const std::string &id, const Cleaner &cleaner, const int64_t offline_time, const int64_t kill_time) :
       id_(id), cleaner_(cleaner), offline_time_(offline_time), kill_time_(kill_time), last_check_time_(0) {}
@@ -218,39 +221,38 @@
         return; // ignore in exists.
      }
      auto UpdateRegInfo = [&](Node &node) {
         for (int i = 0; i < 10; ++i) {
            node->addrs_.insert(ssn + i);
         }
         node->state_.timestamp_ = NowSec() - offline_time_;
         node->state_.UpdateState(NowSec(), offline_time_, kill_time_);

         // create sockets.
         const int nsocks = 4;
         try {
            auto CreateSocket = [&](const MQId id) { ShmSocket tmp(shm, true, id, 16); };
            // alloc(-1), node, server, sub, request,
            for (int i = 0; i < 4; ++i) {
               CreateSocket(ssn + i);
               node->addrs_.insert(ssn + i);
            for (int i = 0; i < nsocks; ++i) {
               ShmSocket tmp(shm, true, ssn + i, 16);
               node->addrs_.emplace(ssn + i, tmp.AbsAddr());
            }
            return true;
         } catch (...) {
            for (int i = 0; i < nsocks; ++i) {
               ShmSocket::Remove(shm, ssn + i);
            }
            return false;
         }
      };

      auto PrepareProcInit = [&]() {
      auto PrepareProcInit = [&](Node &node) {
         bool r = false;
         ShmMsg init_msg;
         if (init_msg.Make(GetAllocSize(CalcAllocIndex(900)))) {
            // 31bit pointer, 4bit cmd+flag
            int64_t reply = (init_msg.Offset() << 4) | EncodeCmd(eCmdNodeInitReply);
            r = SendAllocReply(socket, ssn, reply, init_msg);
            r = SendAllocReply(socket, {ssn, node->addrs_[ssn]}, reply, init_msg);
         }
         return r;
      };

      Node node(new NodeInfo);
      if (UpdateRegInfo(node) && PrepareProcInit()) {
      if (UpdateRegInfo(node) && PrepareProcInit(node)) {
         nodes_[ssn] = node;
         LOG_INFO() << "new node ssn (" << ssn << ") init";
      } else {
@@ -261,13 +263,13 @@
   }
   void RecordMsg(const MsgI &msg) { msgs_.RecordMsg(msg); }

   bool SendAllocReply(ShmSocket &socket, const Address dest, const int64_t reply, const MsgI &msg)
   bool SendAllocReply(ShmSocket &socket, const MQInfo &dest, const int64_t reply, const MsgI &msg)
   {
      RecordMsg(msg);
      auto onExpireFree = [this, msg](const SendQ::Data &) { msgs_.FreeMsg(msg.id()); };
      return socket.Send(dest, reply, onExpireFree);
   }
   bool SendAllocMsg(ShmSocket &socket, const Address dest, const MsgI &msg)
   bool SendAllocMsg(ShmSocket &socket, const MQInfo &dest, const MsgI &msg)
   {
      RecordMsg(msg);
      return socket.Send(dest, msg);
@@ -284,7 +286,21 @@
      if (proc_rec.proc_.empty()) {
         return;
      }
      Address dest = proc_rec.ssn_ + socket_index;

      MQInfo dest = {proc_rec.ssn_ + socket_index, 0};
      auto FindMq = [&]() {
         auto pos = nodes_.find(proc_rec.ssn_);
         if (pos != nodes_.end()) {
            for (auto &&mq : pos->second->addrs_) {
               if (mq.first == dest.id_) {
                  dest.offset_ = mq.second;
                  return true;
               }
            }
         }
         return false;
      };
      if (!FindMq()) { return; }

      auto size = GetAllocSize((val >> 52) & MaskBits(8));
      MsgI new_msg;
@@ -337,10 +353,6 @@
         // when node restart, ssn will change,
         // and old node will be removed after timeout.
         auto UpdateRegInfo = [&](Node &node) {
            node->addrs_.insert(SrcAddr(head));
            for (auto &addr : msg.addrs()) {
               node->addrs_.insert(addr.mq_id());
            }
            node->proc_.Swap(msg.mutable_proc());
            node->state_.timestamp_ = head.timestamp();
            node->state_.UpdateState(NowSec(), offline_time_, kill_time_);
@@ -420,11 +432,11 @@
             auto src = SrcAddr(head);
             auto &topics = msg.topics().topic_list();
             node->services_[src].insert(topics.begin(), topics.end());
             TopicDest dest = {src, node};
             TopicDest dest = {src, SrcAbsAddr(head), node};
             for (auto &topic : topics) {
                service_map_[topic].insert(dest);
             }
             LOG_DEBUG() << "node " << node->proc_.proc_id() << " ssn " << *node->addrs_.begin() << " serve " << topics.size() << " topics:\n";
             LOG_DEBUG() << "node " << node->proc_.proc_id() << " ssn " << node->addrs_.begin()->first << " serve " << topics.size() << " topics:\n";
             for (auto &topic : topics) {
                LOG_DEBUG() << "\t" << topic;
             }
@@ -464,7 +476,8 @@
               if (dest_node && Valid(*dest_node)) {
                  auto node_addr = reply.add_node_address();
                  node_addr->set_proc_id(dest_node->proc_.proc_id());
                  node_addr->mutable_addr()->set_mq_id(dest.mq_);
                  node_addr->mutable_addr()->set_mq_id(dest.mq_id_);
                  node_addr->mutable_addr()->set_abs_addr(dest.mq_abs_addr_);
               }
            }
            return reply;
@@ -482,7 +495,7 @@
         auto src = SrcAddr(head);
         auto &topics = msg.topics().topic_list();
         node->subscriptions_[src].insert(topics.begin(), topics.end());
         TopicDest dest = {src, node};
         TopicDest dest = {src, SrcAbsAddr(head), node};
         for (auto &topic : topics) {
            subscribe_map_[topic].insert(dest);
         }
@@ -505,7 +518,7 @@
         };

         if (pos != node->subscriptions_.end()) {
            const TopicDest &dest = {src, node};
            const TopicDest &dest = {src, SrcAbsAddr(head), node};
            auto &topics = msg.topics().topic_list();
            // clear node sub records;
            for (auto &topic : topics) {
@@ -602,7 +615,7 @@
   {
      auto EraseMapRec = [&node](auto &rec_map, auto &node_rec) {
         for (auto &addr_topics : node_rec) {
            TopicDest dest{addr_topics.first, node};
            TopicDest dest{addr_topics.first, 0, node}; // abs_addr is not used.
            for (auto &topic : addr_topics.second) {
               auto pos = rec_map.find(topic);
               if (pos != rec_map.end()) {
@@ -626,7 +639,7 @@
      }

      for (auto &addr : node->addrs_) {
         cleaner_(addr);
         cleaner_(addr.first);
      }

      node->addrs_.clear();
@@ -678,7 +691,7 @@
{
   return [&](auto &&rep_body) {
      auto reply_head(InitMsgHead(GetType(rep_body), center->id(), head.ssn_id(), head.msg_id()));
      auto remote = head.route(0).mq_id();
      MQInfo remote = {head.route(0).mq_id(), head.route(0).abs_addr()};
      MsgI msg;
      if (msg.Make(reply_head, rep_body)) {
         DEFER1(msg.Release(););
@@ -741,7 +754,7 @@
               if (node) {
                  // should also make sure that mq is not killed before msg expires.
                  // it would be ok if (kill_time - offline_time) is longer than expire time.
                  socket.Send(cli.mq_, msg);
                  socket.Send({cli.mq_id_, cli.mq_abs_addr_}, msg);
                  ++it;
               } else {
                  it = clients.erase(it);
@@ -772,9 +785,9 @@
   return rec;
}

bool BHCenter::Install(const std::string &name, MsgHandler handler, RawHandler raw_handler, IdleHandler idle, const MQId mqid, const int mq_len)
bool BHCenter::Install(const std::string &name, MsgHandler handler, RawHandler raw_handler, IdleHandler idle, const MQInfo &mq, const int mq_len)
{
   Centers()[name] = CenterInfo{name, handler, raw_handler, idle, mqid, mq_len};
   Centers()[name] = CenterInfo{name, handler, raw_handler, idle, mq, mq_len};
   return true;
}

@@ -792,7 +805,7 @@

   for (auto &kv : Centers()) {
      auto &info = kv.second;
      sockets_[info.name_] = std::make_shared<ShmSocket>(shm, info.mqid_, info.mq_len_);
      sockets_[info.name_] = std::make_shared<ShmSocket>(info.mq_.offset_, shm, info.mq_.id_);
   }
}