tcp remote reduce timeout in readrequest

zhangmeng

2022-08-04 d90b3c3779d9c6bd2884540621d107e4ac10e930

 src/nng_wrap.cpp

@@ -69,6 +69,10 @@
        *dest_len = src_len;
}

void set_last_error(const std::string& emsg){
    verbose_info += emsg;
}

void get_last_error(int* ec, void** emsg, int* emsg_len){
    *emsg = NULL;
    *emsg_len = 0;
@@ -145,7 +149,7 @@
                rc = nn_recv(pub->socket_, &tmp, NN_MSG, 0);
                if (rc > 0){
                    nn_freemsg(tmp);
                    printf("======>> publish topic %s data length %lu\n", msg->topic_.c_str(), msg->data_.size());
                    // printf("======>> publish topic %s data length %lu\n", msg->topic_.c_str(), msg->data_.size());
                    lock_guard<mutex> l{pub->mtx_msg_};
                    pub->msg_.pop_front();
                    continue;
@@ -162,6 +166,7 @@
}

int publish(const std::string& topic, const void* data, const int data_len, void* arg/*=NULL*/){
    // printf("======>> publish topic %s\n", topic.c_str());
    _ps* pub = (_ps*)arg;
    if (!pub) pub = singleton<_ps>();

@@ -212,15 +217,15 @@
                const auto topic{tmp_msg.c_str()};
                string msg{};
                {
                    lock_guard<mutex> l{(*sub)()};
                    lock_guard<mutex> l{sub->operator()()};
                    for(auto && i : sub->topics_){
                        if (i.compare(topic) == 0){
                        if (!!!i.compare(topic)){
                            msg = move(tmp_msg.substr(i.size()+1));
                            break;
                        }
                    }
                }
                printf("======>> subscribe recv topic %s msg length %lu\n", topic, msg.length());
                // printf("======>> subscribe recv topic %s msg length %lu\n", topic, msg.length());
                if (!msg.empty()){
                    lock_guard<mutex> l(sub->mtx_msg_);
                    sub->msg_.emplace_back(topic, move(msg));
@@ -232,7 +237,7 @@
                    lock_guard<mutex> l{sub->mtx_failed_topics_};
                    if (!sub->failed_topics_.empty()){
                        for(auto iter = sub->failed_topics_.begin(); iter != sub->failed_topics_.end();){
                            if (nn_setsockopt(sub->socket_, NN_SUB, NN_SUB_UNSUBSCRIBE, iter->c_str(), iter->length()) >= 0){
                            if (nn_setsockopt(sub->socket_, NN_SUB, NN_SUB_SUBSCRIBE, iter->c_str(), iter->length()) >= 0){
                                iter = sub->failed_topics_.erase(iter);
                            }else{
                                iter++;
@@ -418,7 +423,7 @@

static void cb_recv_for_aio(work* w){
    nng_msg *om = w->msg;
    if (!om) return;
    if (!om) {nng_sleep_aio(0, w->aio); return;}

    _rr* rep = (_rr*)w->user_data;

@@ -433,7 +438,7 @@
    rep->cv_msg_.notify_all();
}

static struct work *alloc_work(nng_socket sock, _rr* rep)
static struct work *alloc_work(nng_socket sock, _rr* rep, const int mode)
{
    struct work *w;
    int          rv;
@@ -453,10 +458,12 @@
        return NULL;
    }
    w->state = INIT;
    w->mode = mode;

    return (w);
}

static int create_server(nng_socket* sock, const string& url, const int count, _rr* rep){
static int create_server(nng_socket* sock, const string& url, const int count, _rr* rep, const int mode){
    TAG;
    if (sock->id > 0) return 0;

@@ -469,7 +476,7 @@

    work** works = (work**)malloc(sizeof(void*) * count);
    for (int i = 0; i < count; i++) {
        works[i] = alloc_work(*sock, rep);
        works[i] = alloc_work(*sock, rep, mode);
    }

    remove_exist(url);
@@ -506,12 +513,13 @@
        ipc = url;
    }
    rep->url_ = ipc;
    if(create_server(&get<0>(rep->socks_), ipc, 62, rep) != 0) return -1;
    if(create_server(&get<0>(rep->socks_), ipc, 62, rep, REPLY_IPC) != 0) return -1;

    if (port > 0){
        get<1>(get<1>(rep->socks_)) = port;
        ipc = "tcp://0.0.0.0:" + to_string(port);
        if(create_server(&get<0>(get<1>(rep->socks_)), ipc, 62, rep) != 0) return -1;
        if(create_server(&get<0>(get<1>(rep->socks_)), ipc, 62, rep, REPLY_TCP) != 0) return -1;
        // printf("======>> create server for remote port %d\n", port);
    }else {
        get<0>(get<1>(rep->socks_)).id = numeric_limits<int32_t>::max();
    }
@@ -521,11 +529,13 @@
            constexpr int idle = 10;
            const auto data = rr_unblocking_msg_.data();
            const auto data_size = rr_unblocking_msg_.size();
            constexpr int life_span = timeout_req_rep*10;

            auto f = [rep]{
                vector<struct work*> tmp{};
                lock_guard<mutex> l{rep->mtx_msg_};
                for(auto iter = rep->works_.begin(); iter != rep->works_.end();){
                    if ((iter->second+=idle) > timeout_req_rep){
                    if ((iter->second+=idle) > life_span){
                        tmp.push_back(iter->second.w_);
                        iter = rep->works_.erase(iter);
                    }else {
@@ -558,25 +568,32 @@
    int tm = to_ms > 0 ? to_ms : 30;

    uint64_t key{};
    work* w{};
    {
        unique_lock<mutex> l(rep->mtx_msg_);
        auto status = rep->cv_msg_.wait_for(l, chrono::milliseconds{tm}, [rep]{
            return !rep->msg_.empty();
        });
        if (!status){
            PRNTVITAG("subscribe_read timeout");
            PRNTVITAG("read_request timeout");
            return -1;
        }
        auto iter = rep->msg_.begin();
        key = iter->first;
        *msg = move(iter->second);
        rep->msg_.erase(iter);
        auto witer = rep->works_.find(key);
        if (witer != rep->works_.end()){
            w = witer->second;
        }
    }

    if (!w) return -1;

    *src = malloc(sizeof(uint64_t));
    *(uint64_t*)(*src) = key;

    return 0;
    return w->mode;
}

int send_reply(const void* src, const void* msg, const int msg_len, void* arg/*=NULL*/){