video analysis2.0拆分,ffmpeg封装go接口库
zhangmeng
2019-07-26 bfded635a544a1ab5d252739f4be4f7f30b39b7f
csrc/wrapper.cpp
@@ -30,14 +30,15 @@
    Wrapper::Wrapper()
    :input_url_("")
    ,recorder_(NULL)
    ,thread_(nullptr)
    ,stop_stream_(false)
    ,bridge_(NULL)
    ,scale_w_(0)
    ,scale_h_(0)
    ,scale_f_(SWS_POINT)
    ,encoder_(NULL)
    ,gb_(0)
    ,cpu_(0)
    ,use_decoder_(false)
    {
        makeTheWorld();
    }
@@ -52,12 +53,7 @@
        if(bridge_){
            delete bridge_; bridge_ = NULL;
        }
        if(recorder_){
            delete recorder_; recorder_ = NULL;
        }
        if (encoder_){
            delete encoder_; encoder_ = NULL;
        }
    }
    void Wrapper::ScalePicture(const int w, const int h, const int flags){
@@ -66,15 +62,29 @@
        scale_h_ = h;
    }
    void Wrapper::UseGB28181(){
        gb_ = 1;
    }
    void Wrapper::UseCPU(){
        cpu_ = 1;
    }
    std::unique_ptr<ffwrapper::FormatIn> Wrapper::init_reader(const char* input){
        VideoProp prop;
        prop.url_ = input;
        prop.rtsp_tcp_ = true;
        prop.gpu_acc_ = !cpu_;
       std::unique_ptr<FormatIn> in(new FormatIn(prop.gpuAccl()));
       AVDictionary *avdic = prop.optsFormat();
       int flag = in->open(input, &avdic);
       int flag = -1;
        if (gb_){
            flag = in->openGb28181(input, NULL);
        }else{
            flag = in->open(input, &avdic);
        }
       if(avdic){
          av_dict_free(&avdic);
       }
@@ -83,71 +93,24 @@
                logIt("yolo can't find video stream\n");
                return nullptr;
            }
            bool flag = true;
            if(map_workers_.find(WORKER_DECODER) != map_workers_.end()){
                flag = in->openCodec(AVMEDIA_TYPE_VIDEO, NULL);
                auto dec_ctx = in->getCodecContext();
                if(bridge_)delete bridge_;
                scale_w_ = scale_w_ == 0 || scale_w_ > dec_ctx->width ? dec_ctx->width : scale_w_;
                scale_h_ = scale_h_ == 0 || scale_h_ > dec_ctx->height ? dec_ctx->height : scale_h_;
                AVPixelFormat pix_fmt = AV_PIX_FMT_BGR24;
                bridge_ = new cvbridge(
                        dec_ctx->width, dec_ctx->height, dec_ctx->pix_fmt,
                        scale_w_, scale_h_, pix_fmt, scale_f_);
            }
            if (!flag){
                logIt("FormatIn openCodec Failed!");
                return nullptr;
            }
            return in;
        }
        return nullptr;
    }
    int Wrapper::init_recorder(FormatIn *in, std::string dir, const int mind, const int maxd){
        if(!in){
            logIt("Init wrapper first");
            return -1;
        }
        if(recorder_){
            logIt("recorder exist");
            delete recorder_;
        }
        recorder_ = new Recorder(in);
        recorder_->SetCallback([&](int &index, std::string &path){
            cache_rec_info(index, path);
        });
        int trycnt = 0;
        while(trycnt < 100){
            const int ret = recorder_->Run(dir.c_str(), mind, maxd);
            if(ret == 0) break;
            usleep(200000);
        }
        return trycnt == 100;
    }
    void Wrapper::init_worker(ffwrapper::FormatIn *in){
        for(auto &i : map_workers_){
            if(i.second(in) != 0){
                logIt("worker %d init error", i.first);
            }
        }
    }
    void Wrapper::run_stream_thread(){
        while(!stop_stream_.load()){
            auto in = init_reader(input_url_.c_str());
            if (!in) {
                logIt("ERROR: init_reader! url: %s\n", input_url_.c_str());
                usleep(200000);
                continue;
            }
            init_worker(in.get());
            int64_t id = 0;
            avpacket pkt;
@@ -160,15 +123,18 @@
                    pkt.id = id++;
                }
                pkt.data = data;
                if(data != nullptr) {
                    cacheAVPacket(data->getAVPacket());
                }
                run_worker(in.get(), pkt);
                if(!data){
                    break;
                }
                //test
                if(recorder_)
                    if(id % 250 == 0)
                        recorder_->FireRecorder(id);
                // if(recorder_)
                //     if(id % 250 == 0)
                //         recorder_->FireRecorder(id);
            }
        }
    }
@@ -189,26 +155,99 @@
    }
    //////////////recorder
    void Wrapper::BuildRecorder(const char *output, const int mindur, const int maxdur){
    std::shared_ptr<Recorder> Wrapper::init_recorder(FormatIn *in, std::string id,std::string dir, const int mind, const int maxd){
        if(!in){
            logIt("Init wrapper first");
            return nullptr;
        }
        auto rec = std::make_shared<Recorder>(in, id);
        rec->SetCallback([&](std::string &id, int &index, std::string &path){
            cache_rec_info(id, index, path);
        });
        int trycnt = 0;
        while(trycnt < 100){
            const int ret = rec->Run(dir.c_str(), mind, maxd);
            if(ret == 0) break;
            usleep(200000);
        }
        if (trycnt < 100){
            return rec;
        }
        return nullptr;
    }
    void Wrapper::BuildRecorder(const char* id, const char *output, const int mindur, const int maxdur){
        std::string rid(id);
        std::string dir(output);
        map_workers_[WORKER_RECORDER] = [=](FormatIn *in){
            return init_recorder(in, dir, mindur, maxdur);
        auto fn = [=](FormatIn *in){
            return init_recorder(in, rid, dir, mindur, maxdur);
        };
        std::shared_ptr<Recorder> rec(nullptr);
        FnRec r = FnRec{fn, rec};
        map_rec_[rid] = r;
    }
    int Wrapper::FireRecorder(const int64_t &id){
        if(recorder_){
            recorder_->FireRecorder(id);
    int Wrapper::FireRecorder(const char* sid,const int64_t &id){
        auto iter = map_rec_.find(sid);
        if (iter != map_rec_.end()){
            if(iter->second.rec){
                iter->second.rec->FireRecorder(id);
            }
        }
    }
    void Wrapper::cache_rec_info(int &index, std::string &path){
    void Wrapper::run_worker(ffwrapper::FormatIn *in, avpacket &pkt){
        if(!pkt.data) return;
        if (use_decoder_) {
            if(in->getCodecContext() == NULL){
                bool flag = true;
                flag = in->openCodec(AVMEDIA_TYPE_VIDEO, NULL);
                auto dec_ctx = in->getCodecContext();
                if(bridge_)delete bridge_;
                scale_w_ = scale_w_ == 0 || scale_w_ > dec_ctx->width ? dec_ctx->width : scale_w_;
                scale_h_ = scale_h_ == 0 || scale_h_ > dec_ctx->height ? dec_ctx->height : scale_h_;
                AVPixelFormat pix_fmt = AV_PIX_FMT_BGR24;
                bridge_ = new cvbridge(
                        dec_ctx->width, dec_ctx->height, dec_ctx->pix_fmt,
                        scale_w_, scale_h_, pix_fmt, scale_f_);
                if (!flag){
                    logIt("FormatIn openCodec Failed!");
                }
            }
            auto frame(std::make_shared<FrameData>());
            auto ret = in->decode(frame, pkt.data);
            if(ret == 1){
                //吐出数据
                cache_pic(frame);
            }
        }
        for(auto &i : map_rec_){
            if (!i.second.rec){
                i.second.rec = i.second.fn_init(in);
            }
            if (i.second.rec){
                i.second.rec->CachePacket(pkt);
            }
        }
    }
    void Wrapper::cache_rec_info(std::string &id, int &index, std::string &path){
        if(func_rec_){ //active api
            func_rec_(path, index);
        }else{                  // passive api
            std::lock_guard<std::mutex> l(mutex_rec_);
            while(list_rec_.size() > 10){
                for(int i = 0; i < 5; i++){
            while(list_rec_.size() > 100){
                for(int i = 0; i < 25; i++){
                    list_rec_.pop_front();
                }
            }
@@ -216,6 +255,9 @@
            info.file_frame_index = index;
            info.file_path = path;
            list_rec_.emplace_back(info);
            list_rec_map_[path] = id;
            logIt("list rec files count : %d", list_rec_.size());
            map_rec_.erase(id);
        }
    }
@@ -230,11 +272,19 @@
        index = info.file_frame_index;
        path = info.file_path;
        list_rec_.pop_front();
        // logIt("go get info index: %d, file: %s\n", index, path.c_str());
    }
    std::string Wrapper::GetRecorderID(const std::string &path){
        auto iter = list_rec_map_.find(path);
        if (iter != list_rec_map_.end()){
            return iter->second;
        }
        return "";
    }
    ////////decoder
    void Wrapper::BuildDecoder(){
        map_workers_[WORKER_DECODER] = [&](FormatIn*){return 0;};
        use_decoder_ = true;
    }
    void Wrapper::cache_pic(std::shared_ptr<ffwrapper::FrameData> &frame){
@@ -278,26 +328,36 @@
        list_pic_.pop_front();
    }
    void Wrapper::run_worker(ffwrapper::FormatIn *in, avpacket &pkt){
        if(!pkt.data) return;
        if (map_workers_.find(WORKER_DECODER) != map_workers_.end()) {
            auto frame(std::make_shared<FrameData>());
            auto ret = in->decode(frame, pkt.data);
            if(ret == 1){
                //吐出数据
                cache_pic(frame);
    void Wrapper::GetPacket(unsigned char **pktData, int *size, int *key){
        std::lock_guard<std::mutex> l(mutex_avpkt_);
        if(list_avpkt_.empty()){
            return;
        }
        auto pkt = list_avpkt_.front();
        *key = pkt.flags & AV_PKT_FLAG_KEY;
        *size = pkt.size;
        *pktData = (unsigned char *)malloc(*size);
        memcpy(*pktData, pkt.data, pkt.size);
        list_avpkt_.pop_front();
    }
    void Wrapper::cacheAVPacket(const AVPacket &pkt){
        std::lock_guard<std::mutex> l(mutex_pic_);
        while(list_avpkt_.size() > 10){
//            printf("cacheAVPacket drop packets!!!!!!!!!!\n");
            for(int i = 0; i < 5; i++){
                list_avpkt_.pop_front();
            }
        }
        if(recorder_){
            recorder_->CachePacket(pkt);
        }
        list_avpkt_.emplace_back(pkt);
    }
    ///// active api
    void Wrapper::ActiveRecorder(const char *dir, const int mind, const int maxd,
                                FUNC_REC func){
        BuildRecorder(dir, mind, maxd);
        BuildRecorder("", dir, mind, maxd);
        func_rec_ = func;
    }
@@ -358,36 +418,6 @@
        return NULL;
    }
    void Wrapper::BuildEncoder(const char *file, const int w, const int h, const int fps, const int br, const int gi){
        std::string dir(file);
        map_workers_[WORKER_ENCODER] = [=](FormatIn *in){
            return init_encoder(in, dir.c_str(), w, h, fps, br, gi);
        };
    }
    int Wrapper::init_encoder(FormatIn *in, const char *file, const int w, const int h, const int fps, const int br, const int gi){
        if(!in){
            logIt("Init wrapper first");
            return -1;
        }
        if(encoder_){
            logIt("recorder exist");
            delete encoder_;
        }
        VideoProp prop_;
        AVCodecContext *ctx = in->getCodecContext();
      if(w == 0 && h == 0){
         prop_.width_ = ctx->width;
         prop_.height_ = ctx->height;
      }
        prop_.sample_aspect_ratio_ = ctx->sample_aspect_ratio;
      encoder_ = new FormatOut(prop_, file);
        return 0;
    }
/////// for encoder
    typedef struct _PicEncoder{
@@ -465,7 +495,7 @@
           }
           *size = pkt.size + extradata_size;
           *out = (unsigned char *)malloc(*size);
           memcpy(*out, extra, extradata_size);
           memcpy(*out + extradata_size, pkt.data, pkt.size);