固定bus key

wangzhengquan

2020-12-04 aa2f3b2a9968bb4928463bdae05fb026d16b60bb

 src/socket/shm_socket.c

@@ -3,12 +3,12 @@
#include "logger_factory.h"
#include <map>

static Logger logger = LoggerFactory::getLogger();
static Logger *logger = LoggerFactory::getLogger();



void print_msg(char *head, shm_msg_t &msg) {
  // err_msg(0, "%s: port=%d, type=%d\n", head, msg.port, msg.type);
  // err_msg(0, "%s: key=%d, type=%d\n", head, msg.key, msg.type);
}

static void *_server_run_msg_rev(void *_socket);
@@ -19,69 +19,85 @@

static int _shm_close_stream_socket(shm_socket_t *socket, bool notifyRemote);

// 检查key是否已经被使用，是返回0, 否返回1
static inline int  _shm_socket_check_key(shm_socket_t *socket) {
   void *tmp_ptr = mm_get_by_key(socket->port);
   void *tmp_ptr = mm_get_by_key(socket->key);
    if (tmp_ptr!= NULL && tmp_ptr != (void *)1 && !socket->force_bind ) {
      err_exit(0, "key %d has already been in used!", socket->port);
      logger->error("key %d has already been in used!", socket->key);
      return 0;
    }
    return 1;
}

SHMQueue<shm_msg_t> *_attach_remote_queue(int port);
SHMQueue<shm_msg_t> *_attach_remote_queue(int key);



size_t shm_socket_remove_keys(int keys[], size_t length) {
  return SHMQueue<shm_msg_t>::remove_queues(keys,  length);
}

shm_socket_t *shm_open_socket(shm_socket_type_t socket_type) {
  shm_socket_t *socket = (shm_socket_t *)calloc(1, sizeof(shm_socket_t));
  socket->socket_type = socket_type;
  socket->port = -1;
  socket->key = -1;
  socket->force_bind = false;
  socket->dispatch_thread = 0;
  socket->status = SHM_CONN_CLOSED;

  socket->mutex = SemUtil::get(IPC_PRIVATE, 1);
  return socket;
}

int shm_close_socket(shm_socket_t *socket) {
  
  int ret;
  switch (socket->socket_type) {
  case SHM_SOCKET_STREAM:
    return _shm_close_stream_socket(socket, true);
  case SHM_SOCKET_DGRAM:
    return _shm_close_dgram_socket(socket);
  default:
    return -1;
    case SHM_SOCKET_STREAM:
      ret =  _shm_close_stream_socket(socket, true);
      break;
    case SHM_SOCKET_DGRAM:
      ret =  _shm_close_dgram_socket(socket);
      break;
    default:
      break;
  }
  return -1;
  SemUtil::remove(socket->mutex);
  free(socket);
  return ret;
}

int shm_socket_bind(shm_socket_t *socket, int port) {
  socket->port = port;
int shm_socket_bind(shm_socket_t *socket, int key) {
  socket->key = key;
  return 0;
}

int shm_socket_force_bind(shm_socket_t *socket, int port) {
int shm_socket_force_bind(shm_socket_t *socket, int key) {
  socket->force_bind = true;
  socket->port = port;
  socket->key = key;
  return 0;
}

int shm_listen(shm_socket_t *socket) {

  if (socket->socket_type != SHM_SOCKET_STREAM) {
    err_exit(0, "can not invoke shm_listen method with a socket which is not a "
    logger->error("can not invoke shm_listen method with a socket which is not a "
                "SHM_SOCKET_STREAM socket");
    exit(1);
  }

  int port;
  int key;
  hashtable_t *hashtable = mm_get_hashtable();
  if (socket->port == -1) {
    port = hashtable_alloc_key(hashtable);
    socket->port = port;
  if (socket->key == -1) {
    key = hashtable_alloc_key(hashtable);
    socket->key = key;
  } else {

   _shm_socket_check_key(socket);
   if(!_shm_socket_check_key(socket)) {
     return -1;
   }
  }

  socket->queue = new SHMQueue<shm_msg_t>(socket->port, 16);
  socket->queue = new SHMQueue<shm_msg_t>(socket->key, 16);
  socket->acceptQueue = new LockFreeQueue<shm_msg_t, DM_Allocator>(16);
  socket->clientSocketMap = new std::map<int, shm_socket_t *>;
  socket->status = SHM_CONN_LISTEN;
@@ -97,29 +113,30 @@
*/
shm_socket_t *shm_accept(shm_socket_t *socket) {
  if (socket->socket_type != SHM_SOCKET_STREAM) {
    err_exit(0, "can not invoke shm_accept method with a socket which is not a "
    logger->error("can not invoke shm_accept method with a socket which is not a "
                "SHM_SOCKET_STREAM socket");
    exit(1);
  }
  hashtable_t *hashtable = mm_get_hashtable();
  int client_port;
  int client_key;
  shm_socket_t *client_socket;
  shm_msg_t src;

  if (socket->acceptQueue->pop(src)) {

    // print_msg("===accept:", src);
    client_port = src.port;
    client_key = src.key;
    // client_socket = (shm_socket_t *)malloc(sizeof(shm_socket_t));
    client_socket = shm_open_socket(socket->socket_type);
    client_socket->port = socket->port;
    client_socket->key = socket->key;
    // client_socket->queue= socket->queue;
    //初始化消息queue
    client_socket->messageQueue =
        new LockFreeQueue<shm_msg_t, DM_Allocator>(16);
    //连接到对方queue
    client_socket->remoteQueue = _attach_remote_queue(client_port);
    client_socket->remoteQueue = _attach_remote_queue(client_key);

    socket->clientSocketMap->insert({client_port, client_socket});
    socket->clientSocketMap->insert({client_key, client_socket});

    /*
* shm_accept 用户执行的方法
@@ -128,7 +145,7 @@
    //发送open_reply,回应客户端的connect请求
    struct timespec timeout = {1, 0};
    shm_msg_t msg;
    msg.port = socket->port;
    msg.key = socket->key;
    msg.size = 0;
    msg.type = SHM_SOCKET_OPEN_REPLY;

@@ -136,7 +153,7 @@
      client_socket->status = SHM_CONN_ESTABLISHED;
      return client_socket;
    } else {
      err_msg(0, "shm_accept: 发送open_reply失败");
      logger->error( "shm_accept: 发送open_reply失败");
      return NULL;
    }

@@ -147,33 +164,41 @@
}


int shm_connect(shm_socket_t *socket, int port) {
/**
 * @return 0成功. 其他值失败
 */
int shm_connect(shm_socket_t *socket, int key) {
  if (socket->socket_type != SHM_SOCKET_STREAM) {
    err_exit(0, "can not invoke shm_connect method with a socket which is not "
    logger->error( "can not invoke shm_connect method with a socket which is not "
                "a SHM_SOCKET_STREAM socket");
    exit(1);
  }
  hashtable_t *hashtable = mm_get_hashtable();
  if (hashtable_get(hashtable, port) == NULL) {
    err_exit(0, "shm_connect：connect at port %d  failed!", port);
  if (hashtable_get(hashtable, key) == NULL) {
    logger->error("shm_connect：connect at key %d  failed!", key);
    return -1;
  }

  if (socket->port == -1) {
    socket->port = hashtable_alloc_key(hashtable);
  if (socket->key == -1) {
    socket->key = hashtable_alloc_key(hashtable);
  } else {
    _shm_socket_check_key(socket);
    if(!_shm_socket_check_key(socket)) {
      return -1;
    }
  }

  socket->queue = new SHMQueue<shm_msg_t>(socket->port, 16);
  socket->queue = new SHMQueue<shm_msg_t>(socket->key, 16);

  if ((socket->remoteQueue = _attach_remote_queue(port)) == NULL) {
    err_exit(0, "connect to %d failted", port);
  if ((socket->remoteQueue = _attach_remote_queue(key)) == NULL) {
    logger->error("connect to %d failted", key);
    return -1;
  }
  socket->messageQueue = new LockFreeQueue<shm_msg_t, DM_Allocator>(16);

  //发送open请求
  struct timespec timeout = {1, 0};
  shm_msg_t msg;
  msg.port = socket->port;
  msg.key = socket->key;
  msg.size = 0;
  msg.type = SHM_SOCKET_OPEN;
  socket->remoteQueue->push_timeout(msg, &timeout);
@@ -186,11 +211,13 @@
      pthread_create(&(socket->dispatch_thread), NULL, _client_run_msg_rev,
                     (void *)socket);
    } else {
      err_exit(0, "shm_connect: 不匹配的应答信息!");
      logger->error( "shm_connect: 不匹配的应答信息!");
      exit(1);
    }

  } else {
    err_exit(0, "connect failted!");
    logger->error( "connect failted!");
    return -1;
  }

  return 0;
@@ -198,8 +225,9 @@

int shm_send(shm_socket_t *socket, const void *buf, const int size) {
  if (socket->socket_type != SHM_SOCKET_STREAM) {
    err_exit(0, "can not invoke shm_send method with a socket which is not a "
    logger->error("shm_socket.shm_send: can not invoke shm_send method with a socket which is not a "
                "SHM_SOCKET_STREAM socket");
    exit(1);
  }
  // hashtable_t *hashtable = mm_get_hashtable();
  // if(socket->remoteQueue == NULL) {
@@ -208,7 +236,7 @@
  // }
  shm_msg_t dest;
  dest.type = SHM_COMMON_MSG;
  dest.port = socket->port;
  dest.key = socket->key;
  dest.size = size;
  dest.buf = mm_malloc(size);
  memcpy(dest.buf, buf, size);
@@ -216,16 +244,17 @@
  if (socket->remoteQueue->push(dest)) {
    return 0;
  } else {
    err_msg(errno, "connection has been closed!");
    logger->error(errno, "connection has been closed!");
    return -1;
  }
}

int shm_recv(shm_socket_t *socket, void **buf, int *size) {
  if (socket->socket_type != SHM_SOCKET_STREAM) {
    err_exit(0, "can not invoke shm_recv method in a %d type socket  which is "
    logger->error( "shm_socket.shm_recv: can not invoke shm_recv method in a %d type socket  which is "
                "not a SHM_SOCKET_STREAM socket ",
             socket->socket_type);
    exit(1);
  }
  shm_msg_t src;

@@ -244,38 +273,45 @@

// 短连接方式发送
int shm_sendto(shm_socket_t *socket, const void *buf, const int size,
               const int port, const struct timespec *timeout, const int flags) {
               const int key, const struct timespec *timeout, const int flags) {
  if (socket->socket_type != SHM_SOCKET_DGRAM) {
    err_exit(0, "Can't invoke shm_sendto method in a %d type socket  which is "
    logger->error( "shm_socket.shm_sendto: Can't invoke shm_sendto method in a %d type socket  which is "
                "not a SHM_SOCKET_DGRAM socket ",
             socket->socket_type);
    exit(0);
  }
  hashtable_t *hashtable = mm_get_hashtable();

  SemUtil::dec(socket->mutex);
  if (socket->queue == NULL) {
    if (socket->port == -1) {
      socket->port = hashtable_alloc_key(hashtable);
    if (socket->key == -1) {
      socket->key = hashtable_alloc_key(hashtable);
    } else {

     _shm_socket_check_key(socket);
     if(!_shm_socket_check_key(socket)) {
        return -1;
     }

    }

    socket->queue = new SHMQueue<shm_msg_t>(socket->port, 16);
    socket->queue = new SHMQueue<shm_msg_t>(socket->key, 16);
  }
  if (port == socket->port) {
    err_msg(0, "can not send to your self!");
  SemUtil::inc(socket->mutex);
  
  if (key == socket->key) {
    logger->error( "can not send to your self!");
    return -1;
  }

  SHMQueue<shm_msg_t> *remoteQueue;
  if ((remoteQueue = _attach_remote_queue(port)) == NULL) {
     err_msg(0, "shm_sendto failed, the other end has been closed, or has not been opened!");
    return SHM_SOCKET_CONN_FAILED;
  if ((remoteQueue = _attach_remote_queue(key)) == NULL) {
     logger->error( "shm_sendto failed, the other end has been closed, or has not been opened!");
    return SHM_SOCKET_ECONNFAILED;
  }

  shm_msg_t dest;
  dest.type = SHM_COMMON_MSG;
  dest.port = socket->port;
  dest.key = socket->key;
  dest.size = size;
  dest.buf = mm_malloc(size);
  memcpy(dest.buf, buf, size);
@@ -297,29 +333,34 @@
  } else {
    delete remoteQueue;
    mm_free(dest.buf);
    err_msg(errno, "sendto port %d failed!", port);
    logger->error(errno, "sendto key %d failed!", key);
    return -1;
  }
}

// 短连接方式接受
int shm_recvfrom(shm_socket_t *socket, void **buf, int *size, int *port,  struct timespec *timeout,  int flags) {
int shm_recvfrom(shm_socket_t *socket, void **buf, int *size, int *key,  struct timespec *timeout,  int flags) {
  if (socket->socket_type != SHM_SOCKET_DGRAM) {
    err_exit(0, "Can't invoke shm_recvfrom method in a %d type socket  which "
    logger->error("shm_socket.shm_recvfrom: Can't invoke shm_recvfrom method in a %d type socket  which "
                "is not a SHM_SOCKET_DGRAM socket ",
             socket->socket_type);
    exit(1);
  }
  hashtable_t *hashtable = mm_get_hashtable();
  SemUtil::dec(socket->mutex);
  if (socket->queue == NULL) {
    if (socket->port == -1) {
      socket->port = hashtable_alloc_key(hashtable);
    if (socket->key == -1) {
      socket->key = hashtable_alloc_key(hashtable);
    } else {

      _shm_socket_check_key(socket);
      if(!_shm_socket_check_key(socket)) {
        return -1;
      }
    }

    socket->queue = new SHMQueue<shm_msg_t>(socket->port, 16);
    socket->queue = new SHMQueue<shm_msg_t>(socket->key, 16);
  }
  SemUtil::inc(socket->mutex);

  shm_msg_t src;
  // printf("shm_recvfrom pop before\n");
@@ -337,7 +378,7 @@
    memcpy(_buf, src.buf, src.size);
    *buf = _buf;
    *size = src.size;
    *port = src.port;
    *key = src.key;
    mm_free(src.buf);
    // printf("shm_recvfrom pop after\n");
    return 0;
@@ -346,21 +387,98 @@
  }
}

int shm_sendandrecv(shm_socket_t *socket, const void *send_buf,
                    const int send_size, const int send_port, void **recv_buf,
                    int *recv_size,  struct timespec *timeout,  int flags) {
  if (socket->socket_type != SHM_SOCKET_DGRAM) {
    err_exit(0, "Can't invoke shm_sendandrecv method in a %d type socket  "
                "which is not a SHM_SOCKET_DGRAM socket ",
             socket->socket_type);
static pthread_once_t _once_ = PTHREAD_ONCE_INIT;
static pthread_key_t _tmp_recv_socket_key_;

 /* Free thread-specific data buffer */
static void _destrory_tmp_recv_socket_(void *tmp_socket)
{
  logger->debug("%d destroy tmp socket\n", pthread_self()); 
  shm_close_socket((shm_socket_t *)tmp_socket);
}

/* One-time key creation function */
static void _create_tmp_recv_socket_key(void)
{
  int s;

  /* Allocate a unique thread-specific data key and save the address
     of the destructor for thread-specific data buffers */
  s = pthread_key_create(&_tmp_recv_socket_key_, _destrory_tmp_recv_socket_);
  if (s != 0) {
     logger->error(s, "pthread_key_create");
     abort(); /* dump core and terminate */ 
     exit(1);
  }
  int recv_port;
}



int shm_sendandrecv(shm_socket_t *socket, const void *send_buf,
                    const int send_size, const int send_key, void **recv_buf,
                    int *recv_size,  struct timespec *timeout,  int flags) {
  int recv_key;
  int rv;

  shm_socket_t *tmp_socket = shm_open_socket(SHM_SOCKET_DGRAM);
  if (shm_sendto(tmp_socket, send_buf, send_size, send_port, timeout, flags) == 0) {
    rv = shm_recvfrom(tmp_socket, recv_buf, recv_size, &recv_port, timeout, flags);
    shm_close_socket(tmp_socket);
  // 用thread local 保证每个线程用一个独占的socket接受对方返回的信息
  shm_socket_t *tmp_socket;

  if (socket->socket_type != SHM_SOCKET_DGRAM) {
    logger->error( "shm_socket.shm_sendandrecv: Can't invoke shm_sendandrecv method in a %d type socket  "
                "which is not a SHM_SOCKET_DGRAM socket ",
             socket->socket_type);
    exit(1);
  }
 

  rv = pthread_once(&_once_, _create_tmp_recv_socket_key);
  if (rv != 0) {
    logger->error(rv, "shm_sendandrecv pthread_once");
    exit(1);
  }

  tmp_socket = (shm_socket_t *)pthread_getspecific(_tmp_recv_socket_key_);
  if (tmp_socket == NULL)
  {
    /* If first call from this thread, allocate buffer for thread, and save its location */
    logger->debug("%d create tmp socket\n", pthread_self() );
    tmp_socket = shm_open_socket(SHM_SOCKET_DGRAM);

    rv = pthread_setspecific(_tmp_recv_socket_key_, tmp_socket);
    if (rv != 0) {
      logger->error(rv, "shm_sendandrecv : pthread_setspecific");
      exit(1);
    }
  }

  if ((rv = shm_sendto(tmp_socket, send_buf, send_size, send_key, timeout, flags)) == 0) {
    rv = shm_recvfrom(tmp_socket, recv_buf, recv_size, &recv_key, timeout, flags);
    
    return rv;
  } else {
     
    return rv;
  }
  return -1;
}

int shm_sendandrecv_unsafe(shm_socket_t *socket, const void *send_buf,
                    const int send_size, const int send_key, void **recv_buf,
                    int *recv_size,  struct timespec *timeout,  int flags) {
  if (socket->socket_type != SHM_SOCKET_DGRAM) {
    logger->error( "shm_socket.shm_sendandrecv_unsafe : Can't invoke shm_sendandrecv method in a %d type socket  "
                "which is not a SHM_SOCKET_DGRAM socket ",
             socket->socket_type);
    exit(1);
  }
  int recv_key;
  int rv;

 
  if ((rv = shm_sendto(socket, send_buf, send_size, send_key, timeout, flags)) == 0) {
    rv = shm_recvfrom(socket, recv_buf, recv_size, &recv_key, timeout, flags);
    return rv;
  } else {
    return rv;
  }
  return -1;
@@ -371,21 +489,22 @@
/**
 * 绑定key到队列，但是并不会创建队列。如果没有对应指定key的队列提示错误并退出
 */
SHMQueue<shm_msg_t> *_attach_remote_queue(int port) {
SHMQueue<shm_msg_t> *_attach_remote_queue(int key) {

  hashtable_t *hashtable = mm_get_hashtable();
  if (hashtable_get(hashtable, port) == NULL) {
    err_msg(0, "_remote_queue_attach：connet at port %d  failed!", port);
  if (hashtable_get(hashtable, key) == NULL) {
    logger->error("shm_socket._remote_queue_attach：connet at key %d  failed!", key);
    return NULL;
  }

  SHMQueue<shm_msg_t> *queue = new SHMQueue<shm_msg_t>(port, 0);
  SHMQueue<shm_msg_t> *queue = new SHMQueue<shm_msg_t>(key, 0);
  return queue;
}

void _server_close_conn_to_client(shm_socket_t *socket, int port) {
void _server_close_conn_to_client(shm_socket_t *socket, int key) {
  shm_socket_t *client_socket;
  std::map<int, shm_socket_t *>::iterator iter =
      socket->clientSocketMap->find(port);
      socket->clientSocketMap->find(key);
  if (iter != socket->clientSocketMap->end()) {
    client_socket = iter->second;
    free((void *)client_socket);
@@ -411,11 +530,11 @@
      socket->acceptQueue->push_timeout(src, &timeout);
      break;
    case SHM_SOCKET_CLOSE:
      _server_close_conn_to_client(socket, src.port);
      _server_close_conn_to_client(socket, src.key);
      break;
    case SHM_COMMON_MSG:

      iter = socket->clientSocketMap->find(src.port);
      iter = socket->clientSocketMap->find(src.key);
      if (iter != socket->clientSocketMap->end()) {
        client_socket = iter->second;
        // print_msg("_server_run_msg_rev push before", src);
@@ -426,7 +545,7 @@
      break;

    default:
      err_msg(0, "socket.__shm_rev__: undefined message type.");
       logger->error("shm_socket._server_run_msg_rev: undefined message type.");
    }
  }

@@ -457,7 +576,7 @@
      socket->messageQueue->push_timeout(src, &timeout);
      break;
    default:
      err_msg(0, "socket.__shm_rev__: undefined message type.");
       logger->error( "shm_socket._client_run_msg_rev: undefined message type.");
    }
  }

@@ -470,7 +589,7 @@
  struct timespec timeout = {1, 0};
  shm_msg_t close_msg;

  close_msg.port = socket->port;
  close_msg.key = socket->key;
  close_msg.size = 0;
  close_msg.type = SHM_SOCKET_CLOSE;
  if (notifyRemote && socket->remoteQueue != NULL) {
@@ -517,7 +636,7 @@
  if (socket->dispatch_thread != 0)
    pthread_cancel(socket->dispatch_thread);

  free(socket);
  
  return 0;

}
@@ -527,7 +646,7 @@
      delete socket->queue;
      socket->queue = NULL;
   }
   free(socket);
	
   return 0;
}