video analysis2.0拆分,ffmpeg封装go接口库
zhangmeng
2019-09-29 e878e92811a2dbfb6b4d3f7b2c357435f56e28db
csrc/wrapper.cpp
@@ -13,9 +13,8 @@
#include "ffmpeg/configure/conf.hpp"
#include "ffmpeg/format/FormatIn.hpp"
#include "ffmpeg/format/FormatOut.hpp"
#include "ffmpeg/property/VideoProp.hpp"
#include "ffmpeg/data/CodedData.hpp"
#include "ffmpeg/data/FrameData.hpp"
#include "ffmpeg/property/VideoProp.hpp"
#include "ffmpeg/log/log.hpp"
#include "ffmpeg/bridge/cvbridge.hpp"
@@ -47,13 +46,35 @@
    ,audio_(false)
    ,gb_(0)
    ,cpu_(0)
    ,run_dec_(false)
    ,thread_(nullptr)
    ,stop_stream_(false)
    ,stream_(nullptr)
    ,decoder_(nullptr)
    ,rec_(new rec)
    ,logit_(false)
    {
        makeTheWorld();
    }
    Wrapper::Wrapper(const char *logfile)
    :input_url_("")
    ,scale_w_(0)
    ,scale_h_(0)
    ,scale_f_(SWS_POINT)
    ,audio_(false)
    ,gb_(0)
    ,cpu_(0)
    ,run_dec_(false)
    ,thread_(nullptr)
    ,stop_stream_(false)
    ,stream_(nullptr)
    ,decoder_(nullptr)
    ,rec_(new rec)
    ,logit_(true)
    {
        makeTheWorld();
        logif::CreateLogger(logfile, true);
    }
@@ -71,6 +92,8 @@
        {
            logIt("WRAPPER EXCEPTION: ", e.what());
        }
        if (logit_)
            logif::DestroyLogger();
    }
    std::unique_ptr<ffwrapper::FormatIn> Wrapper::init_reader(const char* input){
@@ -120,26 +143,33 @@
    void Wrapper::AudioSwitch(const bool a){
        audio_ = a;
        if (stream_){
            stream_->AudioSwitch(a);
        }
        // if (stream_){
        //     stream_->AudioSwitch(a);
        // }
    }
    void Wrapper::init_worker(ffwrapper::FormatIn *in){
        if (rec_->Loaded() && stream_ && decoder_) return;
        stream_ = new stream(in, 3 * 25);
        stream_->AudioSwitch(audio_);
        stream_ = new stream(in, 3 * in->getFPS());
        // stream_->AudioSwitch(audio_);
        decoder_ = new decoder(in, scale_w_, scale_h_, scale_f_);
        rec_->Load(in);
        if(fn_rec_lazy_) fn_rec_lazy_(in);
        if(fn_rec_lazy_) {
            fn_rec_lazy_();
            fn_rec_lazy_ = nullptr;
        }
    }
    
    void Wrapper::run_worker(ffwrapper::FormatIn *in, std::shared_ptr<ffwrapper::CodedData> data, int64_t &id){
        if (stream_) stream_->SetPacket(data);
        if (decoder_) decoder_->SetFrame(data, id);
        if (gb_){
            AVPacket &pkt = data->getAVPacket();
            pkt.pts = pkt.dts = AV_NOPTS_VALUE;
        }
        if (stream_) stream_->SetPacket(data, id);
        if (decoder_ && run_dec_) decoder_->SetFrame(data, id);
        if (rec_->Loaded()) rec_->SetPacket(data, id);
    }
@@ -156,21 +186,37 @@
            
            if (!in) {
                logIt("ERROR: init_reader! url: %s\n", input_url_.c_str());
                usleep(200000);
                sleep(2);
                continue;
            }
            
            int wTime = 1000000.0 / in->getFPS() ;
            wTime >>= 1;
            logIt("WAIT TIME PER FRAME: %d", wTime);
            init_worker(in.get());
            int64_t id = 0;
            int64_t id = gb_ ? 0 : -1;
            while(!stop_stream_.load()){
                auto data(std::make_shared<CodedData>());
               if(!in->readPacket(data)){
                    logIt("read packet error");
                if (in->readPacket(&data->getAVPacket()) != 0){
                    logIt("read packet error, id: %lld", id);
                    break;
               }
                }
                if (in->notVideoAudio(&data->getAVPacket())){
                    continue;
                }
                
                if (!gb_ && id < 0){
                    id++;
                    continue;
                }
                run_worker(in.get(), data, id);
                usleep(wTime);
                id++;
            }
@@ -179,13 +225,15 @@
    }
    void Wrapper::BuildRecorder(const char* id, const char *output, const int mindur, const int maxdur, const bool audio){
        bool a = audio;
        if (gb_) a = false;
        if (rec_->Loaded()){
            rec_->NewRec(id, output, mindur, maxdur, audio);
            rec_->NewRec(id, output, mindur, maxdur, a);
        }else{
            std::string rid(id), dir(output);
            fn_rec_lazy_ = 
            [=](ffwrapper::FormatIn *in){rec_->NewRec(rid.c_str(), dir.c_str(), mindur, maxdur, audio);};
            [=]{rec_->NewRec(rid.c_str(), dir.c_str(), mindur, maxdur, a);};
        }
    }
@@ -202,7 +250,7 @@
    }
    ////////decoder
    void Wrapper::BuildDecoder(){
        // use_decoder_ = true;
        run_dec_ = true;
    }
    void Wrapper::GetPicDecoder(unsigned char **data, int *w, int *h, int64_t *id){
@@ -210,7 +258,7 @@
            decoder_->GetFrame(data, w, h, id);
        }
    }
    void Wrapper::GetPacket(unsigned char **pktData, int *size, int *key){
        if (stream_){
            stream_->GetPacket(pktData, size, key);
@@ -220,24 +268,34 @@
} // end class wrapper
///////////////////////////////////////////////////////////
///single decode or encoder
    ////// decoder
////// decoder
#include "ffmpeg/data/FrameData.hpp"
// return val: -1 open error; -2, find stream error; -3, converter create
namespace cffmpeg_wrap{ // start test functions
    uint8_t* DecodeJPEG(const char *file, int *w, int *h){
    uint8_t* Decode(const char *file, const int gb, int *w, int *h){
        VideoProp prop;
        prop.url_ = file;
        prop.gpu_acc_ = false;
        std::unique_ptr<FormatIn> in(new FormatIn(prop.gpuAccl()));
        int flag = in->open(file, NULL);
        int flag = -1;
        if (gb){
            flag = in->openGb28181(file, NULL);
        }else{
            flag = in->open(file, NULL);
        }
        std::unique_ptr<cvbridge> bridge_(nullptr);
        if(flag == 0){
            if(!in->findStreamInfo(NULL)){
                logIt("yolo can't find video stream\n");
                *w = *h = -2;
                return NULL;
            }
            auto flag = in->openCodec(AVMEDIA_TYPE_VIDEO, NULL);
            auto flag = in->openCodec(NULL);
            if(flag){
                auto dec_ctx = in->getCodecContext();
@@ -248,29 +306,37 @@
    
            }else{
                logIt("FormatIn openCodec Failed!");
                *w = *h = -3;
                return NULL;
            }
        }else{
            logIt("open %s error", file);
            *w = *h = -1;
            return NULL;
        }
        
        auto data(std::make_shared<CodedData>());
        if(!in->readPacket(data)){
            logIt("read packet error");
            return NULL;
        uint8_t *pic = NULL;
        *w = *h = 0;
        int tryTime = 0;
        while (tryTime++ < 100){
            auto data(std::make_shared<CodedData>());
            if (in->readPacket(&data->getAVPacket()) == 0){
                auto frame(std::make_shared<FrameData>());
                AVFrame *frm = frame->getAVFrame();
                if(in->decode(frm, &data->getAVPacket()) == 0){
                    *w = frm->width;
                    *h = frm->height;
                    pic = (unsigned char*)malloc(frm->width * frm->height * 3);
                    bridge_->copyPicture(pic, frm);
                    break;
                }
            }
        }
        auto frame(std::make_shared<FrameData>());
        auto ret = in->decode(frame, data);
        if(ret == 1){
            AVFrame *frm = frame->getAVFrame();
            *w = frm->width;
            *h = frm->height;
            unsigned char *data = (unsigned char*)malloc(frm->width * frm->height * 3);
            bridge_->copyPicture(data, frm);
            return data;
        }
        return NULL;
        return pic;
    }
/////// for encoder
    typedef struct _PicEncoder{
@@ -334,28 +400,28 @@
        }
        AVFrame *frame = e->bridge->getAVFrame(in, w, h);
        auto data(std::make_shared<CodedData>());
        AVPacket *pkt = av_packet_alloc();
   
      const int flag = e->enc->encode(data, frame);
      if(flag > 0){
            auto pkt = data->getAVPacket();
        auto flag = e->enc->encode(pkt, frame);
      if(flag == 0){
            int extradata_size = ctx->extradata_size;
         uint8_t *extra = ctx->extradata;
            *key = pkt.flags & AV_PKT_FLAG_KEY;
            *key = pkt->flags & AV_PKT_FLAG_KEY;
           if(!(*key)){
               extradata_size = 0;
           }
           *size = pkt.size + extradata_size;
           *size = pkt->size + extradata_size;
           *out = (unsigned char *)malloc(*size);
           memcpy(*out, extra, extradata_size);
           memcpy(*out + extradata_size, pkt.data, pkt.size);
           memcpy(*out + extradata_size, pkt->data, pkt->size);
      }else{
         logIt("encode error or need more packet\n");
      }
        av_packet_free(&pkt);
        av_frame_free(&frame);
        return flag;