update

wangzhengquan

2020-11-30 8b89e81b09adbb06f6e5e64aa115a1eef6e75b57

 src/socket/net_mod_socket.c

@@ -11,7 +11,7 @@
{
      init_req_rep_req_resp_pool();
   
    if (signal(SIGPIPE, SIG_IGN) == SIG_ERR)    err_msg(errno, "signal");
    if (Signal(SIGPIPE, SIG_IGN) == SIG_ERR)    err_msg(errno, "signal");
}


@@ -20,111 +20,48 @@
  for (auto map_iter = req_resp_pool.connectionMap.begin(); map_iter != req_resp_pool.connectionMap.end(); map_iter++) {
    clientfd = map_iter->second;
    Close(clientfd);
     
  }
  
}


void  NetModSocket::init_req_rep_req_resp_pool()
{
  /* Initially, there are no connected descriptors */
  int i;
  req_resp_pool.maxi = -1;                   //line:conc:echoservers:beginempty
  for (i = 0; i < OPEN_MAX; i++) {
    req_resp_pool.conns[i].fd = -1; 
    req_resp_pool.conns[i].events = 0;      
  }

/**
 * 绑定端口到socket, 如果不绑定则系统自动分配一个
 * @return 0 成功， 其他值 失败的错误码
*/
int NetModSocket::bind(int key) {
  return shmModSocket.bind(key);
}

int NetModSocket::connect( net_node_t *node) {
  std::map<std::string, int>::iterator mapIter;
  int connfd;
  int i;
  char mapKey[256];
  char portstr[32];

  sprintf(mapKey, "%s:%d", node->host, node->port);
  mapIter =  req_resp_pool.connectionMap.find(mapKey);
  if( mapIter != req_resp_pool.connectionMap.end()) {
    connfd = mapIter->second;
// printf("hit: %s\n", mapKey);
  } else {
// printf("mis: %s\n", mapKey);     
    sprintf(portstr, "%d", node->port);
// printf("open before: %s\n", mapKey); 
    connfd = open_clientfd(node->host, portstr);
// printf("open after: %s\n", mapKey); 
    if(connfd < 0) {
      LoggerFactory::getLogger()->error(errno, "connect %s:%d ", node->host, node->port);
      return -1;
    }
    req_resp_pool.connectionMap.insert({mapKey, connfd});
  }

  
  for (i = 0; i < OPEN_MAX; i++) { /* Find an available slot */
    if (req_resp_pool.conns[i].fd < 0)
    {
      /* Add connected descriptor to the req_resp_pool */
      req_resp_pool.conns[i].fd = connfd;  
               
      req_resp_pool.conns[i].events = POLLIN;
      /* Add the descriptor to descriptor set */
      break;
    }
  }

  if (i > req_resp_pool.maxi)      
      req_resp_pool.maxi = i;   

  if (i == OPEN_MAX) {
    /* Couldn't find an empty slot */
    LoggerFactory::getLogger()->error(errno, "add_client error: Too many clients");
    return -1;
  }

  
  return connfd;
/**
 * 强制绑定端口到socket, 适用于程序非正常关闭的情况下，重启程序绑定原来还没释放的key
 * @return 0 成功， 其他值 失败的错误码
*/
int NetModSocket::force_bind( int key) {
  return shmModSocket.force_bind(key);
}

void NetModSocket::close_connect(int connfd) {
  int i;
  char mapKey[256];
  std::map<std::string, int>::iterator map_iter;
  if(close(connfd) != 0) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::close_connect close");
  }
 

  for (i = 0; i <= req_resp_pool.maxi; i++) {
    if(req_resp_pool.conns[i].fd == connfd) {
      req_resp_pool.conns[i].fd = -1;
    }
  }

  for ( map_iter = req_resp_pool.connectionMap.begin(); map_iter != req_resp_pool.connectionMap.end(); ) {
    if(connfd == map_iter->second) {
// std::cout << "map_iter->first==" << map_iter->first << std::endl;
     map_iter = req_resp_pool.connectionMap.erase(map_iter);
    } else {
      ++map_iter;
    }
  }

  LoggerFactory::getLogger()->debug( "closed %d\n", connfd);

}


int NetModSocket::sendandrecv(net_node_t *node_arr, int arrlen, void *send_buf, int send_size, 
  net_mod_recv_msg_t ** recv_arr, int *recv_arr_size) {
  _sendandrecv_(node_arr,  arrlen, send_buf,send_size, recv_arr, recv_arr_size, -1);
}
int NetModSocket::sendandrecv_timeout(net_node_t *node_arr, int arrlen, void *send_buf, int send_size, 
  net_mod_recv_msg_t ** recv_arr, int *recv_arr_size, int  timeout) {
  _sendandrecv_(node_arr,  arrlen, send_buf,send_size, recv_arr, recv_arr_size, timeout);
}
int NetModSocket::sendandrecv_nowait(net_node_t *node_arr, int arrlen, void *send_buf, int send_size, 
  net_mod_recv_msg_t ** recv_arr, int *recv_arr_size) {
   _sendandrecv_(node_arr,  arrlen, send_buf,send_size, recv_arr, recv_arr_size, 0);

}

int NetModSocket::_sendandrecv_(net_node_t *node_arr, int arrlen, void *send_buf, int send_size, 
  net_mod_recv_msg_t ** recv_arr, int *recv_arr_size, int  timeout = 5 * 1000) {

  int i, n, recv_size,  connfd;
  net_node_t *node;
  void *recv_buf;
  int  timeout = 5 * 1000;
  
  net_mod_request_head_t request_head = {};
 
  int n_req = 0, n_recv_suc = 0, n_resp;
   
@@ -151,8 +88,16 @@
      continue;
    }

// printf("write_request %s:%d\n", node->host, node->port);
    if(write_request(connfd, node->key, send_buf, send_size) != 0) {

    request_head.mod = REQ_REP;
    memcpy(request_head.host, node->host, sizeof(request_head.host));
    request_head.port = node->port;
    request_head.key = node->key;
    request_head.content_length = send_size;


 // printf("write_request %s:%d\n", request_head.host, request_head.port);
    if(write_request(connfd, request_head, send_buf, send_size) != 0) {
      LoggerFactory::getLogger()->error("write_request failture %s:%d\n", node->host, node->port);
      close_connect(connfd);
      // req_resp_pool.conns[i].fd = -1;
@@ -233,89 +178,6 @@
     
}

int NetModSocket::write_request(int clientfd, int key, void *send_buf, int send_size) {
  net_mod_request_head_t request_head = {};
  int buf_size;
  char *buf;
  int  max_buf_size;
  if((buf = (char *)malloc(MAXBUF)) == NULL) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::NetModSocket malloc");
    exit(1);
  } else {
    max_buf_size = MAXBUF;
  }

  buf_size = send_size + NET_MODE_REQUEST_HEAD_LENGTH;
  if(max_buf_size < buf_size) {
    
    if((buf = (char *)realloc(buf, buf_size)) == NULL) {
      LoggerFactory::getLogger()->error(errno, "NetModSocket::write_request  realloc buf");
      exit(1);
    } else {
      max_buf_size = buf_size;
    }
  }

  request_head.mod = REQ_REP;
  request_head.key = key;
  request_head.content_length = send_size;
  request_head.topic_length = 0;

  // optval = 1;
  // setsockopt(clientfd, IPPROTO_TCP, TCP_CORK, &optval, sizeof(optval));
  memcpy(buf, NetModSocket::encode_request_head(request_head), NET_MODE_REQUEST_HEAD_LENGTH);
  memcpy(buf + NET_MODE_REQUEST_HEAD_LENGTH, send_buf, send_size);


  if(rio_writen(clientfd, buf, buf_size) != buf_size ) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::write_request  rio_writen");
    free(buf);
    return -1;
  }
  free(buf);
  return 0;
}

/**
 * @return 0 成功, 1 对方没有对应的key, -1 网络错误
 *
 */
int NetModSocket::read_response(int connfd, net_mod_recv_msg_t *recv_msg) {
  int recv_size;
  void *recv_buf;
  char response_head_bs[NET_MODE_RESPONSE_HEAD_LENGTH];
 
  net_mod_response_head_t response_head;
  if ( rio_readn(connfd, response_head_bs, NET_MODE_RESPONSE_HEAD_LENGTH) !=  NET_MODE_RESPONSE_HEAD_LENGTH) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::read_response  rio_readnb response_head");
    
    return -1;
  }

  response_head =  NetModSocket::decode_response_head(response_head_bs);
  if(response_head.code != 0) {
    // 对方没有对应的key
    return 1;
  }

  recv_buf = malloc(response_head.content_length);
  if(recv_buf == NULL) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::send malloc recv_buf");
    exit(1);
  }
  if ( (recv_size = rio_readn(connfd, recv_buf, response_head.content_length) ) !=  response_head.content_length) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::read_response  rio_readnb recv_buf");
    
    return -1;
  }

  strcpy( recv_msg->host, response_head.host);
  recv_msg->port = response_head.port;
  recv_msg->key = response_head.key;
  recv_msg->content = recv_buf;
  recv_msg->content_length = recv_size;
  return 0;
}

int NetModSocket::sendandrecv_safe(net_node_t *node_arr, int arrlen, void *send_buf, int send_size, 
  net_mod_recv_msg_t ** recv_arr, int *recv_arr_size) {
@@ -447,22 +309,24 @@
  int max_buf_size, buf_size;
 
  net_mod_request_head_t request_head;
  
  char portstr[32];
  int nsuc = 0;

  buf = (char *)malloc(MAXBUF);
  max_buf_size = MAXBUF;
  if(buf == NULL) {
  if((buf = (char *)malloc(MAXBUF)) == NULL) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::sendandrecv malloc");
    exit(1);
  } else {
     max_buf_size = MAXBUF;
  }
  int nsuc = 0;
  
  for (i = 0; i< arrlen; i++) {

    node = &node_arr[i];
    if(node->host == NULL) {
      // 本地发送
      shmModSocket.pub(topic, topic_size, content, content_size, node->key);
      if(shmModSocket.pub(topic, topic_size, content, content_size, node->key) == 0 ) {
         nsuc++;
      }
     
    } else {
      sprintf(portstr, "%d", node->port);
@@ -493,17 +357,151 @@
 
      if(rio_writen(clientfd, buf, buf_size) != buf_size ) {
        LoggerFactory::getLogger()->error(errno, "NetModSocket::pub rio_writen conent ");
        close(clientfd);
        continue;
      } else {
        nsuc++;
      }
      close(clientfd);
    }

    nsuc++;
   
  }

  free(buf);
  return nsuc;
}


/**
 * 发送信息
 * @key 发送给谁
 * @return 0 成功， 其他值 失败的错误码
 */
int NetModSocket::sendto(const void *buf, const int size, const int key){
  return shmModSocket.sendto(buf, size, key);
}

// 发送信息超时返回。 @sec 秒 ， @nsec 纳秒
int NetModSocket::sendto_timeout(const void *buf, const int size, const int key, int sec, int nsec){
  struct timespec timeout = {sec, nsec};
  return shmModSocket.sendto_timeout(buf, size, key, &timeout);
}

// 发送信息立刻返回。
int NetModSocket::sendto_nowait(const void *buf, const int size, const int key){
  return shmModSocket.sendto_nowait(buf, size, key);
}

/**
 * 接收信息
 * @key 从谁哪里收到的信息
 * @return 0 成功， 其他值 失败的错误码
*/
int NetModSocket::recvfrom(void **buf, int *size, int *key) {
  return shmModSocket.recvfrom(buf, size, key);
}
// 接受信息超时返回。 @sec 秒 ， @nsec 纳秒
int NetModSocket::recvfrom_timeout(void **buf, int *size, int *key, int sec, int nsec){
  struct timespec timeout = {sec, nsec};
  return shmModSocket.recvfrom_timeout(buf, size, key, &timeout);
}

int NetModSocket::recvfrom_nowait(void **buf, int *size, int *key){
  return shmModSocket.recvfrom_nowait(buf, size, key);
}

/**
 * 发送请求信息并等待接收应答
 * @key 发送给谁
 * @return 0 成功， 其他值 失败的错误码
*/
int NetModSocket::sendandrecv( const void *send_buf, const int send_size, const int key, void **recv_buf, int *recv_size){
  return shmModSocket.sendandrecv(send_buf, send_size, key, recv_buf, recv_size);
}
// 超时返回。 @sec 秒 ， @nsec 纳秒
int NetModSocket::sendandrecv_timeout( const void *send_buf, const int send_size, const int key, void **recv_buf, int *recv_size, int sec, int nsec){
  struct timespec timeout = {sec, nsec};
  return shmModSocket.sendandrecv_timeout(send_buf, send_size, key, recv_buf, recv_size, &timeout);
}
int NetModSocket::sendandrecv_nowait( const void *send_buf, const int send_size, const int key, void **recv_buf, int *recv_size) {
  return shmModSocket.sendandrecv_nowait(send_buf, send_size, key, recv_buf, recv_size);
}


/**
 * 启动bus
 * 
 * @return 0 成功， 其他值 失败的错误码
*/
int  NetModSocket::start_bus() {
  return shmModSocket.start_bus();
}

/**
 * 订阅指定主题
 * @topic 主题
 * @size 主题长度
 * @key 总线端口
 */
int  NetModSocket::sub( void *topic, int size, int key){
  return shmModSocket.sub((char *)topic,  size,  key);
}
// 超时返回。 @sec 秒 ， @nsec 纳秒
int  NetModSocket::sub_timeout( void *topic, int size, int key, int sec, int nsec){
  struct timespec timeout = {sec, nsec};
  return shmModSocket.sub_timeout((char *)topic,  size,  key, &timeout);
}
int  NetModSocket::sub_nowait( void *topic, int size, int key){
  return shmModSocket.sub_nowait((char *)topic,  size,  key);
}



/**
 * 取消订阅指定主题
 * @topic 主题
 * @size 主题长度
 * @key 总线端口
 */
int  NetModSocket::desub( void *topic, int size, int key){
  return shmModSocket.desub((char *)topic,  size,  key);
}
// 超时返回。 @sec 秒 ， @nsec 纳秒
int  NetModSocket::desub_timeout( void *topic, int size, int key, int sec, int nsec){
  struct timespec timeout = {sec, nsec};
  return shmModSocket.desub_timeout((char *)topic,  size,  key, &timeout);
}
int  NetModSocket::desub_nowait( void *topic, int size, int key){
  return shmModSocket.desub_nowait((char *)topic,  size,  key);
}



/**
 * 发布主题
 * @topic 主题
 * @content 主题内容
 * @key 总线端口
 */
int  NetModSocket::pub( char *topic, int topic_size, void *content, int content_size, int key){
  return shmModSocket.pub(topic, topic_size, content, content_size, key);
}
//  超时返回。 @sec 秒 ， @nsec 纳秒
int  NetModSocket::pub_timeout( char *topic, int topic_size, void *content, int content_size, int key, int sec, int nsec){
  struct timespec timeout = {sec, nsec};
  return shmModSocket.pub_timeout(topic, topic_size, content, content_size, key, &timeout);
}
int  NetModSocket::pub_nowait( char *topic, int topic_size, void *content, int content_size, int key){
  return shmModSocket.pub_nowait(topic, topic_size, content, content_size, key);
}


/**
 * 获取soket端口号
 */
int NetModSocket::get_key() {
  return shmModSocket.get_key();
}


void NetModSocket::free_recv_msg_arr(net_mod_recv_msg_t * arr, size_t size) {

@@ -513,6 +511,183 @@
  free(arr);
}




//======================================================================================



int NetModSocket::write_request(int clientfd, net_mod_request_head_t &request_head, void *send_buf, int send_size) {
 
  int buf_size;
  char *buf;
  int  max_buf_size;
  if((buf = (char *)malloc(MAXBUF)) == NULL) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::NetModSocket malloc");
    exit(1);
  } else {
    max_buf_size = MAXBUF;
  }

  buf_size = send_size + NET_MODE_REQUEST_HEAD_LENGTH;
  if(max_buf_size < buf_size) {
    
    if((buf = (char *)realloc(buf, buf_size)) == NULL) {
      LoggerFactory::getLogger()->error(errno, "NetModSocket::write_request  realloc buf");
      exit(1);
    } else {
      max_buf_size = buf_size;
    }
  }

  memcpy(buf, NetModSocket::encode_request_head(request_head), NET_MODE_REQUEST_HEAD_LENGTH);
  memcpy(buf + NET_MODE_REQUEST_HEAD_LENGTH, send_buf, send_size);

  if(rio_writen(clientfd, buf, buf_size) != buf_size ) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::write_request  rio_writen");
    free(buf);
    return -1;
  }
  free(buf);
  return 0;
}

/**
 * @return 0 成功, 1 对方没有对应的key, -1 网络错误
 *
 */
int NetModSocket::read_response(int connfd, net_mod_recv_msg_t *recv_msg) {
  int recv_size;
  void *recv_buf;
  char response_head_bs[NET_MODE_RESPONSE_HEAD_LENGTH];
 
  net_mod_response_head_t response_head;
  if ( rio_readn(connfd, response_head_bs, NET_MODE_RESPONSE_HEAD_LENGTH) !=  NET_MODE_RESPONSE_HEAD_LENGTH) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::read_response  rio_readnb response_head");
    
    return -1;
  }

  response_head =  NetModSocket::decode_response_head(response_head_bs);
// printf(">>>> read_response %s\n", response_head.host);
  if(response_head.code != 0) {
    // 对方没有对应的key
    return 1;
  }

  recv_buf = malloc(response_head.content_length);
  if(recv_buf == NULL) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::send malloc recv_buf");
    exit(1);
  }
  if ( (recv_size = rio_readn(connfd, recv_buf, response_head.content_length) ) !=  response_head.content_length) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::read_response  rio_readnb recv_buf");
    
    return -1;
  }

  strcpy( recv_msg->host, response_head.host);
  recv_msg->port = response_head.port;
  recv_msg->key = response_head.key;
  recv_msg->content = recv_buf;
  recv_msg->content_length = recv_size;
  return 0;
}




void  NetModSocket::init_req_rep_req_resp_pool()
{
  /* Initially, there are no connected descriptors */
  int i;
  req_resp_pool.maxi = -1;                   //line:conc:echoservers:beginempty
  for (i = 0; i < OPEN_MAX; i++) {
    req_resp_pool.conns[i].fd = -1; 
    req_resp_pool.conns[i].events = 0;      
  }

}

int NetModSocket::connect( net_node_t *node) {
  std::map<std::string, int>::iterator mapIter;
  int connfd;
  int i;
  char mapKey[256];
  char portstr[32];

  sprintf(mapKey, "%s:%d", node->host, node->port);
  mapIter =  req_resp_pool.connectionMap.find(mapKey);
  if( mapIter != req_resp_pool.connectionMap.end()) {
    connfd = mapIter->second;
// printf("hit: %s\n", mapKey);
  } else {
// printf("mis: %s\n", mapKey);     
    sprintf(portstr, "%d", node->port);
// printf("open before: %s\n", mapKey); 
    connfd = open_clientfd(node->host, portstr);
// printf("open after: %s\n", mapKey); 
    if(connfd < 0) {
      LoggerFactory::getLogger()->error(errno, "connect %s:%d ", node->host, node->port);
      return -1;
    }
    req_resp_pool.connectionMap.insert({mapKey, connfd});
  }

  
  for (i = 0; i < OPEN_MAX; i++) { /* Find an available slot */
    if (req_resp_pool.conns[i].fd < 0)
    {
      /* Add connected descriptor to the req_resp_pool */
      req_resp_pool.conns[i].fd = connfd;  
               
      req_resp_pool.conns[i].events = POLLIN;
      /* Add the descriptor to descriptor set */
      break;
    }
  }

  if (i > req_resp_pool.maxi)      
      req_resp_pool.maxi = i;   

  if (i == OPEN_MAX) {
    /* Couldn't find an empty slot */
    LoggerFactory::getLogger()->error(errno, "add_client error: Too many clients");
    return -1;
  }

  
  return connfd;
}

void NetModSocket::close_connect(int connfd) {
  int i;
  char mapKey[256];
  std::map<std::string, int>::iterator map_iter;
  if(close(connfd) != 0) {
    LoggerFactory::getLogger()->error(errno, "NetModSocket::close_connect close");
  }
 

  for (i = 0; i <= req_resp_pool.maxi; i++) {
    if(req_resp_pool.conns[i].fd == connfd) {
      req_resp_pool.conns[i].fd = -1;
    }
  }

  for ( map_iter = req_resp_pool.connectionMap.begin(); map_iter != req_resp_pool.connectionMap.end(); ) {
    if(connfd == map_iter->second) {
// std::cout << "map_iter->first==" << map_iter->first << std::endl;
     map_iter = req_resp_pool.connectionMap.erase(map_iter);
    } else {
      ++map_iter;
    }
  }

  LoggerFactory::getLogger()->debug( "closed %d\n", connfd);

}
/**
  uint32_t mod;
  char host[NI_MAXHOST];
@@ -522,25 +697,26 @@
  uint32_t topic_length;
*/

void * NetModSocket::encode_request_head(net_mod_request_head_t & request) {
void * NetModSocket::encode_request_head(net_mod_request_head_t & head) {
  void * headbs = malloc(NET_MODE_REQUEST_HEAD_LENGTH);
  char *tmp_ptr = (char *)headbs;
  PUT(tmp_ptr, htonl(request.mod));

  PUT(tmp_ptr, htonl(head.mod));

  tmp_ptr += 4;
  memcpy(tmp_ptr, request.host, NI_MAXHOST);
  memcpy(tmp_ptr, head.host, sizeof(head.host));

  tmp_ptr += NI_MAXHOST;
  PUT(tmp_ptr, htonl(request.port));
  tmp_ptr += sizeof(head.host);
  PUT(tmp_ptr, htonl(head.port));

  tmp_ptr += 4;
  PUT(tmp_ptr, htonl(request.key));
  PUT(tmp_ptr, htonl(head.key));

  tmp_ptr += 4;
  PUT(tmp_ptr, htonl(request.content_length));
  PUT(tmp_ptr, htonl(head.content_length));

  tmp_ptr += 4;
  PUT(tmp_ptr, htonl(request.topic_length));
  PUT(tmp_ptr, htonl(head.topic_length));
  
  
  return headbs;
@@ -552,10 +728,11 @@

  head.mod = ntohl(GET(tmp_ptr));

  tmp_ptr += NI_MAXHOST;
  memcpy(head.host, tmp_ptr, NI_MAXHOST);

  tmp_ptr += 4;
  memcpy(head.host, tmp_ptr, sizeof(head.host));

 
  tmp_ptr += sizeof(head.host);
  head.port = ntohl(GET(tmp_ptr));

  tmp_ptr += 4;