video analysis2.0拆分,ffmpeg封装go接口库
zhangmeng
2019-09-16 602b3b2a792d65e49dba07920b100b5feb39d36f
csrc/wrapper.cpp
@@ -12,6 +12,7 @@
#include "ffmpeg/configure/conf.hpp"
#include "ffmpeg/format/FormatIn.hpp"
#include "ffmpeg/format/FormatOut.hpp"
#include "ffmpeg/property/VideoProp.hpp"
#include "ffmpeg/data/CodedData.hpp"
#include "ffmpeg/data/FrameData.hpp"
@@ -20,8 +21,11 @@
#include "buz/recorder.hpp"
using namespace logif;
#include "stream.hpp"
#include "decoder.hpp"
#include "rec.hpp"
using namespace logif;
using namespace ffwrapper;
namespace cffmpeg_wrap{
@@ -29,13 +33,17 @@
    Wrapper::Wrapper()
    :input_url_("")
    ,recorder_(NULL)
    ,thread_(nullptr)
    ,stop_stream_(false)
    ,bridge_(NULL)
    ,scale_w_(0)
    ,scale_h_(0)
    ,scale_f_(SWS_POINT)
    ,gb_(0)
    ,cpu_(0)
    ,use_decoder_(false)
    ,thread_(nullptr)
    ,stop_stream_(false)
    ,stream_(nullptr)
    ,decoder_(nullptr)
    ,rec_(nullptr)
    {
        makeTheWorld();
    }
@@ -43,15 +51,16 @@
    Wrapper::~Wrapper()
    {
        if(thread_){
            stop_stream_.store(true);
            thread_->join();
        try
        {
            if(thread_){
                stop_stream_.store(true);
                thread_->join();
            }
        }
        if(bridge_){
            delete bridge_; bridge_ = NULL;
        }
        if(recorder_){
            delete recorder_; recorder_ = NULL;
        catch(const std::exception& e)
        {
            logIt("WRAPPER EXCEPTION: ", e.what());
        }
    }
@@ -61,15 +70,29 @@
        scale_h_ = h;
    }
    void Wrapper::UseGB28181(){
        gb_ = 1;
    }
    void Wrapper::UseCPU(){
        cpu_ = 1;
    }
    std::unique_ptr<ffwrapper::FormatIn> Wrapper::init_reader(const char* input){
        VideoProp prop;
        prop.url_ = input;
        prop.rtsp_tcp_ = true;
        prop.gpu_acc_ = !cpu_;
       std::unique_ptr<FormatIn> in(new FormatIn(prop.gpuAccl()));
       AVDictionary *avdic = prop.optsFormat();
       int flag = in->open(input, &avdic);
       int flag = -1;
        if (gb_){
            flag = in->openGb28181(input, NULL);
        }else{
            flag = in->open(input, &avdic);
        }
       if(avdic){
          av_dict_free(&avdic);
       }
@@ -78,94 +101,11 @@
                logIt("yolo can't find video stream\n");
                return nullptr;
            }
            bool flag = true;
            if(map_workers_.find(WORKER_DECODER) != map_workers_.end()){
                flag = in->openCodec(AVMEDIA_TYPE_VIDEO, NULL);
                auto dec_ctx = in->getCodecContext();
                if(bridge_)delete bridge_;
                scale_w_ = scale_w_ == 0 || scale_w_ > dec_ctx->width ? dec_ctx->width : scale_w_;
                scale_h_ = scale_h_ == 0 || scale_h_ > dec_ctx->height ? dec_ctx->height : scale_h_;
                AVPixelFormat pix_fmt = AV_PIX_FMT_BGR24;
                bridge_ = new cvbridge(
                        dec_ctx->width, dec_ctx->height, dec_ctx->pix_fmt,
                        scale_w_, scale_h_, pix_fmt, scale_f_);
            }
            if (!flag){
                logIt("FormatIn openCodec Failed!");
                return nullptr;
            }
            return in;
        }
        return nullptr;
    }
    int Wrapper::init_recorder(FormatIn *in, std::string dir, const int mind, const int maxd){
        if(!in){
            logIt("Init wrapper first");
            return -1;
        }
        if(recorder_){
            logIt("recorder exist");
            delete recorder_;
        }
        recorder_ = new Recorder(in);
        recorder_->SetCallback([&](int &index, std::string &path){
            cache_rec_info(index, path);
        });
        int trycnt = 0;
        while(trycnt < 100){
            const int ret = recorder_->Run(dir.c_str(), mind, maxd);
            if(ret == 0) break;
            usleep(200000);
        }
        return trycnt == 100;
    }
    void Wrapper::init_worker(ffwrapper::FormatIn *in){
        for(auto &i : map_workers_){
            if(i.second(in) != 0){
                logIt("worker %d init error", i.first);
            }
        }
    }
    void Wrapper::run_stream_thread(){
        while(!stop_stream_.load()){
            auto in = init_reader(input_url_.c_str());
            if (!in) {
                usleep(200000);
                continue;
            }
            init_worker(in.get());
            int64_t id = 0;
            avpacket pkt;
            while(!stop_stream_.load()){
                auto data(std::make_shared<CodedData>());
               if(!in->readPacket(data)){
                    logIt("read packet error");
                    pkt.id = -1; data = nullptr; id = 0;
               }else{
                    pkt.id = id++;
                }
                pkt.data = data;
                run_worker(in.get(), pkt);
                if(!data){
                    break;
                }
                //test
                if(recorder_)
                    if(id % 250 == 0)
                        recorder_->FireRecorder(id);
            }
        }
    }
    int Wrapper::RunStream(const char* input){
@@ -183,126 +123,94 @@
        return 0;
    }
    //////////////recorder
    void Wrapper::BuildRecorder(const char *output, const int mindur, const int maxdur){
        std::string dir(output);
        map_workers_[WORKER_RECORDER] = [=](FormatIn *in){
            return init_recorder(in, dir, mindur, maxdur);
        };
    void Wrapper::init_stream(){
        if (stream_) delete stream_;
        stream_ = new stream;
    }
    int Wrapper::FireRecorder(const int64_t &id){
        if(recorder_){
            recorder_->FireRecorder(id);
        }
    void Wrapper::init_decoder(ffwrapper::FormatIn *in){
        if (decoder_) delete decoder_;
        decoder_ = new decoder(in, scale_w_, scale_h_,scale_f_);
    }
    void Wrapper::cache_rec_info(int &index, std::string &path){
        if(func_rec_){ //active api
            func_rec_(path, index);
        }else{                  // passive api
            std::lock_guard<std::mutex> l(mutex_rec_);
            while(list_rec_.size() > 10){
                for(int i = 0; i < 5; i++){
                    list_rec_.pop_front();
                }
    void Wrapper::init_rec(ffwrapper::FormatIn *in){
        if (rec_) delete rec_;
        rec_ = new rec(in);
    }
    void Wrapper::run_stream_thread(){
        while(!stop_stream_.load()){
            auto in = init_reader(input_url_.c_str());
            if (!in) {
                logIt("ERROR: init_reader! url: %s\n", input_url_.c_str());
                usleep(200000);
                continue;
            }
            struct record_file_info info;
            info.file_frame_index = index;
            info.file_path = path;
            list_rec_.emplace_back(info);
            init_stream();
            if (use_decoder_){
                init_decoder(in.get());
            }
            init_rec(in.get());
            int64_t id = 0;
            while(!stop_stream_.load()){
                auto data(std::make_shared<CodedData>());
               if(!in->readPacket(data)){
                    logIt("read packet error");
                    break;
               }
                if (stream_) stream_->SetPacket(data);
                if (use_decoder_ && decoder_) decoder_->SetFrame(data, id);
                if (rec_) rec_->SetPacket(data, id);
                id++;
            }
        }
    }
    void Wrapper::GetInfoRecorder(int &index, std::string &path){
        std::lock_guard<std::mutex> l(mutex_rec_);
        if(list_rec_.empty()){
            index = -1;
            path = "";
            return;
    void Wrapper::BuildRecorder(const char* id, const char *output, const int mindur, const int maxdur){
        if (rec_){
            rec_->NewRec(id, output, mindur, maxdur);
        }
        auto info = list_rec_.front();
        index = info.file_frame_index;
        path = info.file_path;
        list_rec_.pop_front();
    }
    int Wrapper::FireRecorder(const char* sid,const int64_t &id){
        if (rec_){
            rec_->FireRecSignal(sid, id);
        }
    }
    void Wrapper::GetInfoRecorder(std::string &recID, int &index, std::string &path){
        if (rec_){
            rec_->GetRecInfo(recID, index, path);
        }
    }
    ////////decoder
    void Wrapper::BuildDecoder(){
        map_workers_[WORKER_DECODER] = [&](FormatIn*){return 0;};
        use_decoder_ = true;
    }
    void Wrapper::cache_pic(std::shared_ptr<ffwrapper::FrameData> &frame){
        pic_bgr24 pic;
        if(bridge_){
            AVFrame *frm = frame->getAVFrame();
            pic.w = scale_w_;
            pic.h = scale_h_;
            unsigned char *data = (unsigned char*)malloc(pic.w * pic.h * 3);
            bridge_->copyPicture(data, frm);
            pic.data = data;
        }
        if(func_dec_){
            func_dec_(pic.data, pic.w, pic.h);
        }else{
            std::lock_guard<std::mutex> l(mutex_pic_);
            while(list_pic_.size() > 10){
                for(int i = 0; i < 5; i++){
                    auto t = list_pic_.front();
                    free(t.data);
                    list_pic_.pop_front();
                }
            }
            list_pic_.emplace_back(pic);
        }
    }
    void Wrapper::GetPicDecoder(unsigned char **data, int *w, int *h){
        std::lock_guard<std::mutex> l(mutex_pic_);
        if(list_pic_.empty()){
            *data = NULL;
            *w = 0;
            *h = 0;
            return;
        }
        auto p = list_pic_.front();
        *data = p.data; *w = p.w; *h = p.h;
        list_pic_.pop_front();
    }
    void Wrapper::run_worker(ffwrapper::FormatIn *in, avpacket &pkt){
        if(!pkt.data) return;
        if (map_workers_.find(WORKER_DECODER) != map_workers_.end()) {
            auto frame(std::make_shared<FrameData>());
            auto ret = in->decode(frame, pkt.data);
            if(ret == 1){
                //吐出数据
                cache_pic(frame);
            }
        }
        if(recorder_){
            recorder_->CachePacket(pkt);
    void Wrapper::GetPicDecoder(unsigned char **data, int *w, int *h, int64_t *id){
        if (decoder_){
            decoder_->GetFrame(data, w, h, id);
        }
    }
    ///// active api
    void Wrapper::ActiveRecorder(const char *dir, const int mind, const int maxd,
                                FUNC_REC func){
        BuildRecorder(dir, mind, maxd);
        func_rec_ = func;
    void Wrapper::GetPacket(unsigned char **pktData, int *size, int *key){
        if (stream_){
            stream_->GetPacket(pktData, size, key);
        }
    }
    void Wrapper::ActiveDecoder(FUNC_DEC fn){
        BuildDecoder();
        func_dec_ = fn;
    }
    ////// test
    uint8_t *Wrapper::decodeJPEG(const char *file, int *w, int *h){
} // end class wrapper
///////////////////////////////////////////////////////////
///single decode or encoder
    ////// decoder
namespace cffmpeg_wrap{ // start test functions
    uint8_t* DecodeJPEG(const char *file, int *w, int *h){
        VideoProp prop;
        prop.url_ = file;
        prop.gpu_acc_ = false;
@@ -331,7 +239,7 @@
                return NULL;
            }
        }else{
            logIt("open %s error", input_url_.c_str());
            logIt("open %s error", file);
            return NULL;
        }
        
@@ -352,4 +260,94 @@
        }
        return NULL;
    }
}
/////// for encoder
    typedef struct _PicEncoder{
        FormatOut *enc;
        int w;
        int h;
        int fps;
        int br;
        int gi;
        int flag;
        cvbridge *bridge;
    } PicEncoder;
    void *CreateEncoder(const int w, const int h, const int fps, const int br, const int scale_flag, const int gi){
        PicEncoder *e = (PicEncoder*)malloc(sizeof(PicEncoder));
        e->enc = NULL;
        e->w = w;
        e->h = h;
        e->fps = fps;
        e->br = br;
        e->gi = gi;
        e->flag = scale_flag;
        e->bridge = NULL;
        VideoProp prop_;
        prop_.width_ = w;
        prop_.height_ = h;
        prop_.fps_ = fps;
        prop_.bit_rate_ = br;
        gi < 0 ? prop_.gpu_acc_ = false : prop_.gpu_acc_ = true;
      FormatOut *enc = new FormatOut(prop_, "./88.mp4");
        e->enc = enc;
        return e;
    }
    void DestroyEncoder(void *h){
        PicEncoder *e = (PicEncoder*)h;
        if (e == NULL){
            return;
        }
        delete e->bridge;
        delete e->enc;
        free(e);
    }
    int Encode(void *hdl, uint8_t *in, const int w, const int h, uint8_t **out, int *size, int *key){
        PicEncoder *e = (PicEncoder*)hdl;
        auto ctx = e->enc->getCodecContext();
        if (e->bridge == NULL){
            AVPixelFormat pix_fmt = AV_PIX_FMT_BGR24;
            e->bridge = new cvbridge(
                    w, h, AV_PIX_FMT_BGR24,
                    e->w, e->h, ctx->pix_fmt, e->flag);
        }
        AVFrame *frame = e->bridge->getAVFrame(in, w, h);
        auto data(std::make_shared<CodedData>());
      const int flag = e->enc->encode(data, frame);
      if(flag > 0){
            auto pkt = data->getAVPacket();
            int extradata_size = ctx->extradata_size;
         uint8_t *extra = ctx->extradata;
            *key = pkt.flags & AV_PKT_FLAG_KEY;
           if(!(*key)){
               extradata_size = 0;
           }
           *size = pkt.size + extradata_size;
           *out = (unsigned char *)malloc(*size);
           memcpy(*out, extra, extradata_size);
           memcpy(*out + extradata_size, pkt.data, pkt.size);
      }else{
         logIt("encode error or need more packet\n");
      }
        av_frame_free(&frame);
        return flag;
    }
}