wangzhengquan
2021-01-18 01e202b60cc8aceb65fd6c82949e2a2b08142f8c
src/socket/net_mod_socket.h
@@ -4,13 +4,8 @@
#include "shm_mod_socket.h"
#include "socket_io.h"
#include <poll.h>
#define OPEN_MAX 1024
#define GET(p)       (*(uint32_t *)(p))
#define PUT(p, val)  (*(uint32_t *)(p) = (val))
#include "socket_def.h"
#include "net_conn_pool.h"
class NetModServerSocket;
@@ -22,25 +17,30 @@
   int key;
};
#define NET_MODE_REQUEST_HEAD_LENGTH (NI_MAXHOST + 5 * sizeof(uint32_t))
#define NET_MODE_REQUEST_HEAD_LENGTH (NI_MAXHOST + 6 * sizeof(uint32_t))
// 请求头
struct net_mod_request_head_t {
   uint32_t mod;
  char host[NI_MAXHOST];
  uint32_t port;
   uint32_t key;
   uint32_t content_length;
   uint32_t topic_length;
   uint32_t content_length; // 请求内容
   uint32_t topic_length; // 请求主题
  int32_t timeout; // -1 block, 0 nowait , > 0 timeout
};
#define NET_MODE_RESPONSE_HEAD_LENGTH (NI_MAXHOST + 4 * sizeof(uint32_t))
// 应答头
struct net_mod_response_head_t {
   // socket_mod_t mod;
  char host[NI_MAXHOST];
  uint32_t port;
   uint32_t key;
  uint32_t code;
  uint32_t code; //返回值, 0 为成功
   uint32_t content_length;
};
@@ -56,39 +56,44 @@
};
class NetModSocket {
  struct pool{ /* Represents a pool of connected descriptors */ //line:conc:echoservers:beginpool
    int nready;       /* Number of ready descriptors from select */
    int maxi;         /* Highwater index into client array */
    struct pollfd conns[OPEN_MAX];
    // net_node_t *nodes[FD_SETSIZE];
   // rio_t clientrio[FD_SETSIZE]; /* Set of active read buffers */
    // std::map<int, net_node_t*> connfdNodeMap;
    std::map<std::string, int> connectionMap;
  } ;
  friend class NetModServerSocket;
private:
   
  ShmModSocket shmModSocket;
  pool req_resp_pool;
  // pool req_resp_pool;
  NetConnPool *gpool;
  pthread_mutex_t sendMutex;
  // request header 编码为网络传输的字节
  static void * encode_request_head(net_mod_request_head_t & request);
  // 解码request  header
  static net_mod_request_head_t  decode_request_head(void *headbs);
  static void * encode_response_head(net_mod_response_head_t & response);
  static net_mod_response_head_t  decode_response_head(void *_headbs);
  void init_req_rep_req_resp_pool();
  int connect( net_node_t*);
  void close_connect(int connfd);
  // 销毁threadlocal pool
  static void _destroyConnPool_(void *_pool);
  // 创建thread local key
  static void _createConnPoolKey_(void);
  NetConnPool* _get_threadlocal_pool();
  NetConnPool* _get_pool();
  //读取返回信息
  int read_response(int clientfd, net_mod_recv_msg_t *recv_msg);
  int write_request(int clientfd, net_mod_request_head_t &request_head, void *send_buf, int send_size);
  // 发送请求信息
  int write_request(int clientfd, net_mod_request_head_t &request_head, void *send_buf, int send_size, void *topic_buf, int topic_size);
  int _sendandrecv_(net_node_t *node_arr, int node_arr_len, void *send_buf, int send_size, 
    net_mod_recv_msg_t ** recv_arr, int *recv_arr_size, int timeout);
  int _pub_(net_node_t *node_arr, int arrlen, char *topic, int topic_size, void *content, int content_size, int timeout) ;
public:
   
@@ -108,22 +113,34 @@
  */
  int force_bind( int key);
  /**
   * 如果建立连接的节点没有接受到消息会一直等待
   * @brief 如果建立连接的节点没有接受到消息等待timeout的时间后返回
   *
   * 向node_arr 中的所有网络节点发送请求消息,节点的返回信息汇总并存储在recv_arr中
   * @node_arr 网络节点组, @node_arr_len该数组长度
   * @node_arr 网络节点组, @node_arr_len该数组长度.如果IP为空则为本地发送。
   * @send_buf 发送的消息,@send_size 该消息体的长度
   * @recv_arr 返回的应答消息组,@recv_arr_size 该数组长度
   * @timeout 等待时间,单位是千分之一秒
   * @return 成功发送的节点的个数
   * 优点:1某个节点的故障不会阻塞其他节点。2性能好
   * 缺点:不是线程安全的, 即不能有两个以上的线程同时使用这个对象的方法
   *
   * 优点:1某个节点的故障不会阻塞其他节点。2 性能好。 3 采用thread local技术即保证了线程安全,又可以使用连接池缓存连接
   */
  int sendandrecv(net_node_t *node_arr, int arrlen, void *send_buf, int send_size, 
    net_mod_recv_msg_t ** recv_arr, int *recv_arr_size) ;
  /**
   * 如果建立连接的节点没有接受到消息等待timeout的时间后返回
   * 向node_arr 中的所有网络节点发送请求消息,节点的返回信息汇总并存储在recv_arr中
   * @node_arr 网络节点组, @node_arr_len该数组长度.如果IP为空则为本地发送。
   * @send_buf 发送的消息,@send_size 该消息体的长度
   * @recv_arr 返回的应答消息组,@recv_arr_size 该数组长度
   * @timeout 等待时间,单位是千分之一秒
  */
   * @return 成功发送的节点的个数
   * 优点:1某个节点的故障不会阻塞其他节点。2 性能好。 3 采用thread local技术即保证了线程安全,又可以使用连接池缓存连接
   */
  int sendandrecv_timeout(net_node_t *node_arr, int arrlen, void *send_buf, int send_size, 
    net_mod_recv_msg_t ** recv_arr, int *recv_arr_size, int  timeout);
@@ -140,14 +157,10 @@
   * 缺点:阻塞的,性能不如sendandrecv
   * 
   */
  int sendandrecv_safe(net_node_t *node_arr, int node_arr_len, void *send_buf, int send_size,
    net_mod_recv_msg_t ** recv_arr, int *recv_arr_size);
  // int sendandrecv_safe(net_node_t *node_arr, int node_arr_len, void *send_buf, int send_size,
  //   net_mod_recv_msg_t ** recv_arr, int *recv_arr_size);
 
  /**
   * 发送信息
   * @key 发送给谁
@@ -179,14 +192,21 @@
  int sendandrecv_timeout( const void *send_buf, const int send_size, const int send_key, void **recv_buf, int *recv_size, int sec, int nsec) ;
  int sendandrecv_nowait( const void *send_buf, const int send_size, const int send_key, void **recv_buf, int *recv_size) ;
   /**
   * 向node_arr 中的所有网络节点发布消息
   * @node_arr 网络节点组, @node_arr_len该数组长度
   * @topic 主题,@topic_size 该主题的长度
   * @content 内容,@content_size 内容长度
   * @return 成功发布的节点的个数
   */
  int pub(net_node_t *node_arr, int arrlen, char *topic, int topic_size, void *content, int content_size) ;
  int pub_nowait(net_node_t *node_arr, int arrlen, char *topic, int topic_size, void *content, int content_size);
  /**
   * 启动bus
   *
   * @return 0 成功, 其他值 失败的错误码
  */
  int  start_bus();
   * @msec 毫秒 (千分之一秒)
   */
  int pub_timeout(net_node_t *node_arr, int arrlen, char *topic, int topic_size, void *content, int content_size, int  msec);
  /**
   * 订阅指定主题
   * @topic 主题
@@ -223,14 +243,8 @@
   /**
   * 向node_arr 中的所有网络节点发布消息
   * @node_arr 网络节点组, @node_arr_len该数组长度
   * @topic 主题,@topic_size 该主题的长度
   * @content 内容,@content_size 内容长度
   * @return 成功发布的节点的个数
   */
  int pub(net_node_t *node_arr, int node_arr_len, char *topic, int topic_size, void *content, int content_size);
  /**
   * 获取soket key