commit

wangzhengquan

2020-07-27 aeaeda81cfe398081a7c1a5c287981c8df974aa2

 src/socket/dgram_mod_socket.c

@@ -6,42 +6,54 @@
#include "hashtable.h"
#include "sem_util.h"
#include "logger_factory.h"
#include <set>

#define ACTION_LIDENTIFIER "<**"
#define ACTION_RIDENTIFIER "**>"
#define TOPIC_LIDENTIFIER "{"
#define TOPIC_RIDENTIFIER "}"


static Logger logger = LoggerFactory::getLogger();
#define BUS_MAP_KEY 1
//typedef std::basic_string<char, std::char_traits<char>, SHM_STL_Allocator<char> > SHMString;
typedef std::set<int,  std::less<int>, SHM_STL_Allocator<int> > SHMKeySet;
typedef std::map<SHMString, SHMKeySet *, std::less<SHMString>, SHM_STL_Allocator<std::pair<SHMString, SHMKeySet *> > > SHMTopicSubMap;

typedef struct dgram_mod_socket_t {
   socket_mod_t mod;
  shm_socket_t *shm_socket;
  pthread_t recv_thread;
   std::map<int, LockFreeQueue<shm_msg_t, DM_Allocator> * > *recv_queue_map;
  // pthread_t recv_thread;
  // <主题， 订阅者>
   SHMTopicSubMap *topic_sub_map;
} dgram_mod_socket_t;

static int parse_pubsub_topic(char *str, size_t size, char **_action, char **_topic, size_t *head_len );
void * run_pubsub_proxy(dgram_mod_socket_t * socket) ;

void *dgram_mod_open_socket(int mod) {
void *dgram_mod_open_socket() {
   dgram_mod_socket_t * socket = (dgram_mod_socket_t *)calloc(1, sizeof(dgram_mod_socket_t));
   socket->mod = (socket_mod_t)mod;
   socket->recv_thread = 0;
   socket->recv_queue_map = NULL;
   // socket->mod = (socket_mod_t)mod;
   socket->shm_socket = shm_open_socket(SHM_SOCKET_DGRAM);

   printf("socket->shm_socket = %p \n" , socket->shm_socket);
   return (void *)socket;
}


int dgram_mod_close_socket(void * _socket) {
   dgram_mod_socket_t * socket = (dgram_mod_socket_t *) _socket;
   shm_close_socket(socket->shm_socket);
   if(socket->recv_queue_map != NULL) {
      for(auto iter = socket->recv_queue_map->begin(); iter != socket->recv_queue_map->end(); iter++) {
         delete iter->second;
         socket->recv_queue_map->erase(iter);
			
   SHMTopicSubMap *topic_sub_map = socket->topic_sub_map;
   SHMKeySet *subscripter_set;
   SHMTopicSubMap::iterator map_iter;

   if(topic_sub_map != NULL) {
      for (map_iter = topic_sub_map->begin(); map_iter != topic_sub_map->end(); map_iter++) {
         subscripter_set = map_iter->second;
         delete subscripter_set;
      }
      delete socket->recv_queue_map;
      mem_pool_free_by_key(BUS_MAP_KEY);
   }
	


   if(socket->recv_thread != 0)
      pthread_cancel(socket->recv_thread);
   shm_close_socket(socket->shm_socket);
   free(_socket);
}

@@ -51,9 +63,14 @@
   return  shm_socket_bind(socket->shm_socket, port);
}


int dgram_mod_force_bind(void * _socket, int port) {
   dgram_mod_socket_t * socket = (dgram_mod_socket_t *) _socket;
   return shm_socket_force_bind(socket->shm_socket, port);
}

int dgram_mod_sendto(void *_socket, const void *buf, const int size, const int port) {
   dgram_mod_socket_t * socket = (dgram_mod_socket_t *) _socket;

   return shm_sendto(socket->shm_socket, buf, size, port);

}
@@ -61,79 +78,237 @@
int dgram_mod_recvfrom(void *_socket, void **buf, int *size, int *port) {

   dgram_mod_socket_t * socket = (dgram_mod_socket_t *) _socket;
   if(socket->mod == REQ_REP && socket->recv_thread != 0) {
      err_exit(0, "you have used sendandrecv method os you can not use recvfrom method any more. these two method can not be used at the same time.");
      return -1;
   }
   return shm_recvfrom(socket->shm_socket, buf, size, port);
// printf("dgram_mod_recvfrom  before\n");
   int rv = shm_recvfrom(socket->shm_socket, buf, size, port);
// printf("dgram_mod_recvfrom  after\n");
   return rv;
}
 


int dgram_mod_sendandrecv(void * _socket, const void *send_buf, const int send_size, const int send_port, void **recv_buf, int *recv_size) {
   dgram_mod_socket_t * socket = (dgram_mod_socket_t *) _socket;
   return shm_sendandrecv(socket->shm_socket, send_buf, send_size, send_port, recv_buf, recv_size);

}

void *_dgram_mod_run_recv(void * _socket) {
   pthread_detach(pthread_self());


int dgram_mod_get_port(void * _socket) {
   dgram_mod_socket_t * socket = (dgram_mod_socket_t *) _socket;
   void *buf;
   int size;
   int port;
   shm_msg_t msg;
   LockFreeQueue<shm_msg_t, DM_Allocator> *queue;
   std::map<int, LockFreeQueue<shm_msg_t, DM_Allocator> * >::iterator iter;
// printf("==============_dgram_mod_run_recv recv before\n");
   while(shm_recvfrom(socket->shm_socket, &buf, &size, &port) == 0) {
      if( (iter = socket->recv_queue_map->find(port) ) != socket->recv_queue_map->end()) {
         queue = iter->second;
      } else {
         queue = new LockFreeQueue<shm_msg_t, DM_Allocator>(16);
         socket->recv_queue_map->insert({port, queue});
   return socket->shm_socket->port;
}


void dgram_mod_free(void *buf) {
   free(buf);
}

int  dgram_mod_start_bus(void * _socket) {
   dgram_mod_socket_t * socket = (dgram_mod_socket_t *) _socket;
printf("mem_pool_malloc_by_key before\n");
   // void *map_ptr = mem_pool_malloc_by_key(1, sizeof(SHMTopicSubMap));
   socket->topic_sub_map =   mem_pool_attach<SHMTopicSubMap>(BUS_MAP_KEY);
printf("mem_pool_malloc_by_key after\n");

   // socket->topic_sub_map = new(map_ptr) SHMTopicSubMap;

   //socket->topic_sub_map = new SHMTopicSubMap;
   run_pubsub_proxy(socket);
   // pthread_t tid;
   // pthread_create(&tid, NULL, run_accept_sub_request, _socket);
   return 0;

}

/**
 * @port 总线端口
 */
int  dgram_mod_sub(void * _socket, void *topic, int size, int port) {
   dgram_mod_socket_t * socket = (dgram_mod_socket_t *) _socket;
   char buf[8192];
   snprintf(buf,  8192, "%ssub%s%s%s%s", ACTION_LIDENTIFIER, ACTION_RIDENTIFIER, TOPIC_LIDENTIFIER, (char *)topic, TOPIC_RIDENTIFIER);
   return shm_sendto(socket->shm_socket, buf, strlen(buf) + 1, port);
}

/**
 * @port 总线端口
 */
int  dgram_mod_pub(void * _socket, void *topic, int topic_size, void *content, int content_size, int port) {

   dgram_mod_socket_t * socket = (dgram_mod_socket_t *) _socket;
   int head_len;
   char buf[8192+content_size];
   snprintf(buf, 8192, "%spub%s%s%s%s", ACTION_LIDENTIFIER, ACTION_RIDENTIFIER, TOPIC_LIDENTIFIER, (char *)topic, TOPIC_RIDENTIFIER);
   head_len = strlen(buf);
   memcpy(buf+head_len, content, content_size);
   return shm_sendto(socket->shm_socket, buf, head_len+content_size, port);

}


//==========================================================================================================================

/*
 * 处理订阅
*/
void _proxy_sub(dgram_mod_socket_t *socket, char *topic, int port) {
   SHMTopicSubMap *topic_sub_map = socket->topic_sub_map;
   SHMKeySet *subscripter_set;

   SHMTopicSubMap::iterator map_iter;
   SHMKeySet::iterator set_iter;

   if( (map_iter = topic_sub_map->find(topic) ) != topic_sub_map->end()) {
      subscripter_set = map_iter->second;
   } else {
      void *set_ptr = mm_malloc(sizeof(SHMKeySet));
      subscripter_set = new(set_ptr) SHMKeySet;
      topic_sub_map->insert({topic, subscripter_set});
   }
   subscripter_set->insert(port);
}

/*
 * 处理发布，代理转发
*/
void _proxy_pub(dgram_mod_socket_t * socket, char *topic, size_t head_len, void *buf, size_t size, int port) {
   SHMTopicSubMap *topic_sub_map = socket->topic_sub_map;
   SHMKeySet *subscripter_set;

   SHMTopicSubMap::iterator map_iter;
   SHMKeySet::iterator set_iter;

   std::vector<int> subscripter_to_del;
   std::vector<int>::iterator vector_iter;

   int send_port;
   struct timespec timeout = {1,0};

   if( (map_iter = topic_sub_map->find(topic) ) != topic_sub_map->end()) {
      subscripter_set = map_iter->second;
      for(set_iter = subscripter_set->begin(); set_iter != subscripter_set->end(); set_iter++) {
         send_port = *set_iter;
 printf("_proxy_pub send before %d \n", send_port);
         if (shm_sendto(socket->shm_socket, buf+head_len, size-head_len, send_port, &timeout) !=0 ) {
            //对方已关闭的连接放到待删除队列里。如果直接删除会让iter指针出现错乱
            subscripter_to_del.push_back(send_port);
         } else {
printf("_proxy_pub send after: %d \n", send_port);
         }

			
      }

      msg.buf = buf;
      msg.size = size;
      msg.port = port;
// printf("==============_dgram_mod_run_recv push before\n");
      queue->push(msg);
// printf("==============_dgram_mod_run_recv push after\n");
	 
      // 删除已关闭的端
      for(vector_iter = subscripter_to_del.begin(); vector_iter != subscripter_to_del.end(); vector_iter++) {
         if((set_iter = subscripter_set->find(*vector_iter)) != subscripter_set->end()) {
            subscripter_set->erase(set_iter);
            printf("remove closed subscripter %d \n", send_port);
         }
      }
      subscripter_to_del.clear();

   }
   return NULL;



}

int dgram_mod_sendandrecv(void * _socket, const void *send_buf, const int send_size, const int port, void **recv_buf, int *recv_size) {
	
   dgram_mod_socket_t * socket = (dgram_mod_socket_t *) _socket;
   if(socket->mod != REQ_REP) {
      err_exit(0, "you can't use this method other than REQ_REP mod!");
   }
   if(socket->recv_queue_map == NULL) {
      socket->recv_queue_map = new std::map<int, LockFreeQueue<shm_msg_t, DM_Allocator> * >;
   }
void * run_pubsub_proxy(dgram_mod_socket_t * socket) {
   // pthread_detach(pthread_self());
   int size;
   int port;
   char * action, *topic, *topics, *buf;
   size_t head_len;

   std::map<int, LockFreeQueue<shm_msg_t, DM_Allocator> * >::iterator iter;
   LockFreeQueue<shm_msg_t, DM_Allocator> *queue;
   if( (iter = socket->recv_queue_map->find(port) ) != socket->recv_queue_map->end()) {
      queue = iter->second;
   } else {
      queue = new LockFreeQueue<shm_msg_t, DM_Allocator>(16);
      socket->recv_queue_map->insert({port, queue});
   }
   const char *topic_delim = ",";
printf("run_pubsub_proxy server receive before\n");
   while(shm_recvfrom(socket->shm_socket, (void **)&buf, &size, &port) == 0) {
printf("run_pubsub_proxy server recv after: %s \n", buf);
      if(parse_pubsub_topic(buf, size, &action, &topics, &head_len)) {
         if(strcmp(action, "sub") == 0) {
            // 订阅支持多主题订阅
            topic = trim(strtok(topics, topic_delim), NULL);
           while(topic) {
          _proxy_sub(socket, topic, port);
           topic = trim(strtok(NULL, topic_delim), NULL);
           }

   if (socket->recv_thread == 0) {
		
      pthread_create(&(socket->recv_thread ), NULL, _dgram_mod_run_recv , _socket);
		
         } else if(strcmp(action, "pub") == 0) {
            _proxy_pub(socket, topics, head_len, buf, size, port);
         }
			
         free(action);
         free(topics);
      } else {
         err_msg(0, "incorrect format msg");
      }
      free(buf);
   }
   return NULL;
}

   shm_sendto(socket->shm_socket, send_buf, send_size, port);	
   shm_msg_t msg;
// printf("==============dgram_mod_sendandrecv pop before\n");
   if(queue->pop(msg)) {
      *recv_buf = msg.buf;
      *recv_size = msg.size;
// printf("==============dgram_mod_sendandrecv pop after\n");
      return 0;
   }
   return -1;

/**
 * @str "<**sub**>{经济}"
 */

static int parse_pubsub_topic(char *str, size_t size, char **_action, char **_topic, size_t *head_len ) {
 char *ptr = str;
 char *str_end_ptr = str + size;
 char *action_start_ptr;
 char *action_end_ptr;
 size_t action_len = 0;

 char *topic_start_ptr;
 char *topic_end_ptr;
 size_t topic_len = 0;

 // if (strlen(identifier) > strlen(str)) {
 //  return 0;
 // }

 if (strncmp(ptr, ACTION_LIDENTIFIER, strlen(ACTION_LIDENTIFIER)) == 0) {
  ptr += strlen(ACTION_LIDENTIFIER);
  action_start_ptr = ptr;
  while(strncmp(++ptr, ACTION_RIDENTIFIER, strlen(ACTION_RIDENTIFIER)) != 0) {
    if(ptr >= str_end_ptr) {
      return 0;
    }
  }
// printf("%s\n", ptr);
  action_end_ptr = ptr;
  action_len = action_end_ptr - action_start_ptr;
  ptr += strlen(ACTION_RIDENTIFIER);
// printf("%s\n", ptr);
// printf("%s\n", str_end_ptr-1);
  if(strncmp(ptr, TOPIC_LIDENTIFIER, strlen(TOPIC_LIDENTIFIER)) == 0 ) {
    topic_start_ptr = ptr+strlen(TOPIC_LIDENTIFIER);
   

    while(strncmp(++ptr, TOPIC_RIDENTIFIER, strlen(TOPIC_RIDENTIFIER)) != 0) {
      if(ptr >= str_end_ptr) {
        return 0;
      }
    }
    topic_end_ptr = ptr;
    topic_len = topic_end_ptr - topic_start_ptr;
    
    ptr += strlen(TOPIC_RIDENTIFIER);
   
  } else {
    return 0;
  }
 } else {
  return 0;
 }

 char *topic = (char *)calloc(1, topic_len+1);
 strncpy(topic, topic_start_ptr, topic_len);
 *_topic = topic;

 char *action = (char *)calloc(1, action_len+1);
 strncpy(action, action_start_ptr, action_len);
 *_action = action;
 *head_len = ptr-str;

 return 1;
}