bug fixed file retry

554325746@qq.com

2020-03-11 62a465253c96a666a8dfbf099a45aeaae6c975bd

 csrc/wrapper.cpp

@@ -2,6 +2,7 @@

#include <thread>
#include <unistd.h>
#include <sys/time.h>

extern "C"{
#include <libavformat/avformat.h>
@@ -13,36 +14,73 @@
#include "ffmpeg/configure/conf.hpp"
#include "ffmpeg/format/FormatIn.hpp"
#include "ffmpeg/format/FormatOut.hpp"
#include "ffmpeg/property/VideoProp.hpp"
#include "ffmpeg/data/CodedData.hpp"
#include "ffmpeg/data/FrameData.hpp"
#include "ffmpeg/property/VideoProp.hpp"
#include "ffmpeg/log/log.hpp"
#include "ffmpeg/bridge/cvbridge.hpp"

#include "buz/recorder.hpp"

using namespace logif;
#include "worker/stream.hpp"
#include "worker/decoder.hpp"
#include "worker/rec.hpp"
#include "common.hpp"

using namespace logif;
using namespace ffwrapper;

#define DELETE_POINTER(p) \
do \
{ \
if(NULL != p) \
delete p; \
p = NULL; \
}while(0)

namespace cffmpeg_wrap{
    using namespace buz;

    Wrapper::Wrapper()
    :input_url_("")
    ,thread_(nullptr)
    ,stop_stream_(false)
    ,bridge_(NULL)
    ,scale_w_(0)
    ,scale_h_(0)
    ,scale_f_(SWS_POINT)
    ,audio_(false)
    ,gb_(0)
    ,cpu_(0)
    ,use_decoder_(false)
    ,minduration(250)
    ,maxduration(750)
    ,run_dec_(false)
    ,run_stream_(true)
    ,run_rec_(false)
    ,thread_(nullptr)
    ,stop_stream_(false)
    ,stream_(nullptr)
    ,decoder_(nullptr)
    ,rec_(new rec)
    ,logit_(false)
    ,fps_(25)
    ,file_finished_(false)
    ,min_duration_(0)
    {
        makeTheWorld();
    }

    Wrapper::Wrapper(const char *logfile)
    :input_url_("")
    ,audio_(false)
    ,gb_(0)
    ,cpu_(0)
    ,run_dec_(false)
    ,run_stream_(true)
    ,run_rec_(false)
    ,thread_(nullptr)
    ,stop_stream_(false)
    ,stream_(nullptr)
    ,decoder_(nullptr)
    ,rec_(new rec)
    ,logit_(true)
    ,fps_(25)
    ,file_finished_(false)
    ,min_duration_(0)
    {
        makeTheWorld();
        logif::CreateLogger(logfile, true);
    }


@@ -54,37 +92,14 @@
                stop_stream_.store(true);
                thread_->join();
            }
            if(bridge_){
                delete bridge_; bridge_ = NULL;
            }

            map_rec_.clear();
            list_rec_pkt_.clear();

            for(auto &i : list_pic_){
                free(i.data);
            }
            DELETE_POINTER(rec_);
        }
        catch(const std::exception& e)
        {
            logIt("WRAPPER EXCEPTION: ", e.what());
        }
        
        
    }

    void Wrapper::ScalePicture(const int w, const int h, const int flags){
        scale_w_ = w;
        scale_f_ = flags;
        scale_h_ = h;
    }

    void Wrapper::UseGB28181(){
        gb_ = 1;
    }

    void Wrapper::UseCPU(){
        cpu_ = 1;
        if (logit_)
            logif::DestroyLogger();
    }

    std::unique_ptr<ffwrapper::FormatIn> Wrapper::init_reader(const char* input){
@@ -95,19 +110,22 @@
        prop.gpu_acc_ = !cpu_;

       std::unique_ptr<FormatIn> in(new FormatIn(prop.gpuAccl()));
       AVDictionary *avdic = prop.optsFormat();
       int flag = -1;
        if (gb_){
            flag = in->openGb28181(input, NULL);
        }else{
            flag = in->open(input, &avdic);
           AVDictionary *avdic = prop.optsFormat();
            if(avdic){
                flag = in->open(input, &avdic);
              av_dict_free(&avdic);
           }else{
                flag = in->open(input, NULL);
            }
        }
       if(avdic){
          av_dict_free(&avdic);
       }
    	
        if(flag == 0){
            if(!in->findStreamInfo(NULL)){
                logIt("yolo can't find video stream\n");
                logIt("can't find video stream\n");
                return nullptr;
            }
            
@@ -132,395 +150,208 @@
        return 0;
    }

    void Wrapper::AudioSwitch(const bool a){
        audio_ = a;
        // if (stream_){
        //     stream_->AudioSwitch(a);
        // }
    }

    void Wrapper::init_worker(ffwrapper::FormatIn *in){
        if (rec_->Loaded() && stream_ && decoder_) return;

        stream_ = new stream(in, 3 * in->getFPS());
        // stream_->AudioSwitch(audio_);
        
        decoder_ = new decoder(in);

        rec_->Load(in);
        if(fn_rec_lazy_) {
            fn_rec_lazy_();
            fn_rec_lazy_ = nullptr;
        }
    }
    
    int Wrapper::run_worker(ffwrapper::FormatIn *in, const CPacket &pkt){
        if (gb_){
            AVPacket &p = pkt.data->getAVPacket();
            p.pts = p.dts = AV_NOPTS_VALUE;
        }
        int flag = 0;
        if (run_stream_ && stream_) stream_->SetPacket(pkt);
        if (run_dec_ && decoder_) flag = decoder_->SetFrame(pkt);
        if (run_rec_ && rec_->Loaded()) rec_->SetPacket(pkt);

        return flag;
    }

    void Wrapper::deinit_worker(){
        DELETE_POINTER(stream_);
        DELETE_POINTER(decoder_);
        rec_->Unload();
    }

    void Wrapper::run_stream_thread(){
        
        int64_t file_rebootime = 0;
        int64_t file_frame = 0;

        while(!stop_stream_.load()){
            auto in = init_reader(input_url_.c_str());

            
            if (!in) {
                logIt("ERROR: init_reader! url: %s\n", input_url_.c_str());
                usleep(200000);
                sleep(2);
                continue;
            }

            int64_t id = 0;
            avpacket pkt;
            fps_ = in->getFPS();
            
            if (fps_ < 1 || fps_ > 200){
                fps_ = 25;
            }

            int wTime = 1000000.0 / fps_ ;
            wTime >>= 1;

            init_worker(in.get());

            int64_t id = gb_ ? 0 : -1;
            int64_t v_id = id;
            int64_t a_id = id;

            bool exist = access(input_url_.c_str(), 0) == 0;
            if (exist){
                wTime <<= 1;
                file_rebootime++;
            }

            logIt("WAIT TIME PER FRAME: %d", wTime);

            while(!stop_stream_.load()){
                auto data(std::make_shared<CodedData>());
               if(!in->readPacket(data)){
                    logIt("read packet error");
                    data.reset();
                    data = nullptr;
                    pkt.id = -1; 
                    id = 0;
               }else{
                    pkt.id = id++;
                }
                pkt.data = data;
                if(data != nullptr) {
                    cacheAVPacket(data->getAVPacket());
                }

                run_worker(in.get(), pkt);
                if(!data){
                    {
                        std::lock_guard<std::mutex> l(mutex_rec_);
                        map_rec_.clear();
                    }
                    std::lock_guard<std::mutex> locker(mtx_rec_pkt_);
                    list_rec_pkt_.clear();

                if (in->readPacket(&data->getAVPacket()) != 0){
                    logIt("read packet error, id: %lld", id);
                    break;
                }
                //test
                // if(recorder_)
                //     if(id % 250 == 0)
                //         recorder_->FireRecorder(id);
                // 非音视频
                if (in->notVideoAudio(&data->getAVPacket())){
                    continue;
                }

                // 非国标跳过第一帧,测试第一帧有问题
                if (!gb_ && id < 0){
                    id++; v_id++; a_id++;
                    continue;
                }
                CPacket pkt{data, v_id, a_id, id};
               // decode error
                if (run_worker(in.get(), pkt) == -1){
                    break;
                }

                if (in->isVideoPkt(&data->getAVPacket())){
                    v_id++;
                }else{
                    a_id++;
                }

                id++;

                //本地文件太快sleep一下
                if (exist){
                    usleep(wTime);
                    // 记录解码的文件有多少帧
                    file_frame++;
                }

            }

            deinit_worker();
            if (exist) {
                // 三次一帧都没解出来，退出
                if (file_frame == 0 && file_rebootime < 3){
                    continue;
                }
                // 最小需要解出多少帧
                if (file_frame < min_duration_ * fps_){
                    continue;
                }
                logIt("libcffmpeg.so-> local file %s run %lld time, all frames %lld", input_url_.c_str(), file_rebootime, file_frame);
                file_finished_ = true;
                break;
            }
        }
    }

    void Wrapper::run_worker(ffwrapper::FormatIn *in, avpacket &pkt){
        if(!pkt.data) return;
        if (use_decoder_) {
            if(in->getCodecContext() == NULL){
                
                bool flag = true;
                flag = in->openCodec(AVMEDIA_TYPE_VIDEO, NULL);
                auto dec_ctx = in->getCodecContext();
                if(bridge_)delete bridge_;
    void Wrapper::SetRecMinCacheTime(const int mind, const int maxd){
        min_duration_ = mind;
    }

                scale_w_ = scale_w_ == 0 || scale_w_ > dec_ctx->width ? dec_ctx->width : scale_w_;
                scale_h_ = scale_h_ == 0 || scale_h_ > dec_ctx->height ? dec_ctx->height : scale_h_;

                AVPixelFormat pix_fmt = AV_PIX_FMT_BGR24;
                bridge_ = new cvbridge(
                        dec_ctx->width, dec_ctx->height, dec_ctx->pix_fmt,
                        scale_w_, scale_h_, pix_fmt, scale_f_);
    void Wrapper::OpenRecorder(){
        run_rec_ = true;
    }
    
                if (!flag){
                    logIt("FormatIn openCodec Failed!");
                }
            }
            
            auto frame(std::make_shared<FrameData>());
            auto ret = in->decode(frame, pkt.data);
            if(ret == 1){
                //吐出数据
                cache_pic(frame, pkt.id);
            }
        }
        cache_rec_pkt(pkt);
        {
            std::lock_guard<std::mutex> l(mutex_rec_);

            for(auto &i : map_rec_){
                if (!i.second.rec){
                    i.second.rec = std::move(init_recorder(in, i.second.rid, i.second.dir, i.second.min, i.second.max));
                    if (i.second.rec){
                        std::lock_guard<std::mutex> locker(mtx_rec_pkt_);
                        for(auto &k : list_rec_pkt_){
                            avpacket p = {k.data, k.id};
                            i.second.rec->CachePacket(p);
                        }
                        logIt("START REC %d FRAMES", list_rec_pkt_.size());
                    }
                }else if (i.second.rec){
                    i.second.rec->CachePacket(pkt);
                }
            }

    void Wrapper::BuildRecorder(const char* id, const char *output, const int64_t &fid, const int mindur, const int maxdur, const bool audio){
        bool a = audio;
        if (gb_) a = false;
        
        if (rec_->Loaded()){
            rec_->NewRec(id, output, fid, mindur, maxdur, a);
        }else{
            std::string rid(id), dir(output);
            fn_rec_lazy_ = 
            [=]{rec_->NewRec(rid.c_str(), dir.c_str(), fid, mindur, maxdur, a);};
        }
    }

    int Wrapper::cache_rec_pkt(const avpacket &pkt){

        std::lock_guard<std::mutex> locker(mtx_rec_pkt_);
        //wait I 
        if (list_rec_pkt_.empty()) {
            AVPacket &avpkt = pkt.data->getAVPacket();
            if (!(avpkt.flags & AV_PKT_FLAG_KEY)){
                return -1;
            }
    int Wrapper::FireRecorder(const char* sid,const int64_t &id){
        if (rec_->Loaded()){
            rec_->FireRecSignal(sid, id);
        }
        maybe_dump_rec_pkt();
        recpkt k = {pkt.data, pkt.id};
        list_rec_pkt_.push_back(k);
        
        return 0;
    }
    void Wrapper::maybe_dump_rec_pkt(){
        //超过min/2,丢弃gop
        while (list_rec_pkt_.size() > minduration) {
            list_rec_pkt_.pop_front();
            while(!list_rec_pkt_.empty()){
                auto &cache = list_rec_pkt_.front();
                AVPacket &avpkt = cache.data->getAVPacket();
                if (!(avpkt.flags & AV_PKT_FLAG_KEY)){
                    list_rec_pkt_.pop_front();
                }else{
                    break;
                }
            }

    int Wrapper::GetInfoRecorder(std::string &recID, int &index, std::string &path){
        if (rec_){
            rec_->GetRecInfo(recID, index, path);
        }
    }

    //////////////recorder
    std::unique_ptr<Recorder> Wrapper::init_recorder(FormatIn *in, std::string id, std::string dir, const int mind, const int maxd){
        if(!in){
            logIt("Init wrapper first");
            return nullptr;
        }

        std::unique_ptr<Recorder> rec(new Recorder(in, id.c_str()));

        rec->SetCallback([&](std::string &id, int &index, std::string &path){
            cache_rec_info(id, index, path);
        });

        int trycnt = 0;
        while(trycnt < 100){
            const int ret = rec->Run(dir.c_str(), mind, maxd);
            if(ret == 0) break;
            usleep(200000);
        }
        if (trycnt < 100){
            return rec;
        }
        return nullptr;
    }
    
    void Wrapper::BuildRecorder(const char* id, const char *output, const int mindur, const int maxdur){
        std::string rid(id);
        std::string dir(output);
        
        std::lock_guard<std::mutex> l(mutex_rec_);

        // auto fn = [=](FormatIn *in){
        //     return init_recorder(in, rid, dir, mindur, maxdur);
        // };
        // FnRec r = FnRec{fn, nullptr};
        if (map_rec_.find(rid) != map_rec_.end()){
            map_rec_.erase(rid);
        }
        // for (auto iter = map_rec_.begin(); iter != map_rec_.end();){
        //     if (iter->second.rec && iter->second.rec->ErrorOcurred()){
        //         iter == map_rec_.erase(iter);
        //     }else{
        //         iter++;
        //     }
        // }
        FnRec fr;
        fr.rid = rid;
        fr.dir = dir;
        fr.min = mindur;
        fr.max = maxdur;
        map_rec_[rid] = std::move(fr);

        minduration = mindur * 25;
        maxduration = maxdur * 25;
    }

    int Wrapper::FireRecorder(const char* sid,const int64_t &id){
        std::lock_guard<std::mutex> l(mutex_rec_);

        auto iter = map_rec_.find(sid);
        if (iter != map_rec_.end()){
            if(iter->second.rec){
                iter->second.rec->FireRecorder(id);
            }
        }

        // for (auto iter = map_rec_.begin(); iter != map_rec_.end();){
        //     if (iter->second.rec && iter->second.rec->ErrorOcurred()){
        //         iter == map_rec_.erase(iter);
        //     }else{
        //         iter++;
        //     }
        // }
    }

    void Wrapper::cache_rec_info(std::string &id, int &index, std::string &path){
        
        std::lock_guard<std::mutex> l(mutex_rec_);
        while(list_rec_.size() > 100){
            for(int i = 0; i < 25; i++){
                list_rec_.pop_front();
            }
        }
        struct record_file_info info;
        info.file_frame_index = index;
        info.file_path = path;
        info.rec_id = id;
        list_rec_.emplace_back(info);
        list_rec_map_[path] = id;
        logIt("LIST REC FILES COUNT : %d", list_rec_.size());
        
    }

    void Wrapper::GetInfoRecorder(int &index, std::string &path){
        std::lock_guard<std::mutex> l(mutex_rec_);
        if(list_rec_.empty()){
            index = -1;
            path = "";
            return;
        }
        auto info = list_rec_.front();
        index = info.file_frame_index;
        path = info.file_path;
        list_rec_.pop_front();

        if (map_rec_.find(info.rec_id) != map_rec_.end())
            map_rec_.erase(info.rec_id);

        for (auto iter = map_rec_.begin(); iter != map_rec_.end();){
            if (iter->second.rec && iter->second.rec->ErrorOcurred()){
                iter == map_rec_.erase(iter);
            }else{
                iter++;
            }
        }

        // logIt("go get info index: %d, file: %s\n", index, path.c_str());
    }

    std::string Wrapper::GetRecorderID(const std::string &path){
        std::lock_guard<std::mutex> l(mutex_rec_);

        std::string ret("");
        auto iter = list_rec_map_.find(path);
        if (iter != list_rec_map_.end()){
            ret = iter->second;
            list_rec_map_.erase(iter);
        }
        

        return ret;
        return 0;
    }
    ////////decoder
    void Wrapper::BuildDecoder(){
        use_decoder_ = true;
    void Wrapper::OpenDecoder(){
        run_dec_ = true;
    }

    void Wrapper::cache_pic(std::shared_ptr<ffwrapper::FrameData> &frame, int64_t &id){

        pic_bgr24 pic;
        if(bridge_){
            AVFrame *frm = frame->getAVFrame();
            pic.w = scale_w_;
            pic.h = scale_h_;

            unsigned char *data = (unsigned char*)malloc(pic.w * pic.h * 3);
            bridge_->copyPicture(data, frm);
            pic.data = data;
            pic.id = id;
    int Wrapper::GetPicDecoder(unsigned char **data, int *w, int *h, int *format, int *length, int64_t *id){
        if (file_finished_){
            return -1;
        }
        
        {
            std::lock_guard<std::mutex> l(mutex_pic_);
            while(list_pic_.size() > 10){
                for(int i = 0; i < 5; i++){
                    auto t = list_pic_.front();
                    free(t.data);
                    list_pic_.pop_front();
                }
            }
            list_pic_.emplace_back(pic);
        if (decoder_){
            decoder_->GetFrame(data, w, h, format, length, id);
        }

        return 0;
    }

    void Wrapper::GetPicDecoder(unsigned char **data, int *w, int *h, int64_t *id){
        std::lock_guard<std::mutex> l(mutex_pic_);
        if(list_pic_.empty()){
            *data = NULL;
            *w = 0;
            *h = 0;
            return;
        }
        auto p = list_pic_.front();
        *data = p.data; *w = p.w; *h = p.h;
        *id = p.id;
        list_pic_.pop_front();
    }

    void Wrapper::GetPacket(unsigned char **pktData, int *size, int *key){
        std::lock_guard<std::mutex> l(mutex_avpkt_);
        if(list_avpkt_.empty()){
            return;
        }
        auto pkt = list_avpkt_.front();
        *key = pkt.flags & AV_PKT_FLAG_KEY;
        *size = pkt.size;
        *pktData = (unsigned char *)malloc(*size);
        memcpy(*pktData, pkt.data, pkt.size);

        list_avpkt_.pop_front();
    }
    void Wrapper::cacheAVPacket(const AVPacket &pkt){
        std::lock_guard<std::mutex> l(mutex_pic_);
        while(list_avpkt_.size() > 10){
//            printf("cacheAVPacket drop packets!!!!!!!!!!\n");
            for(int i = 0; i < 5; i++){
                list_avpkt_.pop_front();
            }
        }
        list_avpkt_.emplace_back(pkt);
    }

    ////// test
    uint8_t *Wrapper::decodeJPEG(const char *file, int *w, int *h){
        VideoProp prop;
        prop.url_ = file;
        prop.gpu_acc_ = false;

        std::unique_ptr<FormatIn> in(new FormatIn(prop.gpuAccl()));
        int flag = in->open(file, NULL);
        
        std::unique_ptr<cvbridge> bridge_(nullptr);

        if(flag == 0){
            if(!in->findStreamInfo(NULL)){
                logIt("yolo can't find video stream\n");
                return NULL;
            }
            auto flag = in->openCodec(AVMEDIA_TYPE_VIDEO, NULL);
            if(flag){
                auto dec_ctx = in->getCodecContext();

                AVPixelFormat pix_fmt = AV_PIX_FMT_BGR24;
                bridge_.reset(new cvbridge(
                        dec_ctx->width, dec_ctx->height, dec_ctx->pix_fmt,
                        dec_ctx->width, dec_ctx->height, pix_fmt, SWS_BICUBIC));
    
            }else{
                logIt("FormatIn openCodec Failed!");
                return NULL;
            }
        }else{
            logIt("open %s error", input_url_.c_str());
            return NULL;
        }
        
        auto data(std::make_shared<CodedData>());
        if(!in->readPacket(data)){
            logIt("read packet error");
            return NULL;
        }
        auto frame(std::make_shared<FrameData>());
        auto ret = in->decode(frame, data);
        if(ret == 1){
            AVFrame *frm = frame->getAVFrame();
            *w = frm->width;
            *h = frm->height;
            unsigned char *data = (unsigned char*)malloc(frm->width * frm->height * 3);
            bridge_->copyPicture(data, frm);
            return data;
        }
        return NULL;
    void Wrapper::CloseStream(){
        run_stream_ = false;
    }

    int Wrapper::GetPacket(unsigned char **pktData, int *size, int *key){
        if (stream_){
            stream_->GetPacket(pktData, size, key);
        }
        return 0;
    }

} // end class wrapper
///////////////////////////////////////////////////////////
///single decode or encoder
////// decoder

#include "ffmpeg/data/FrameData.hpp"

// return val: -1 open error; -2, find stream error; -3, converter create
namespace cffmpeg_wrap{ // start test functions
/////// for encoder
    typedef struct _PicEncoder{
        FormatOut *enc;
@@ -529,11 +360,13 @@
        int fps;
        int br;
        int gi;
        int pix_fmt;
        int flag;
        cvbridge *bridge;
    } PicEncoder;

    void *CreateEncoder(const int w, const int h, const int fps, const int br, const int scale_flag, const int gi){
    void *CreateEncoder(const int w, const int h, const int fps, const int br, 
                        const int pix_fmt, const int scale_flag, const int gi){

        PicEncoder *e = (PicEncoder*)malloc(sizeof(PicEncoder));
        e->enc = NULL;
@@ -542,6 +375,7 @@
        e->fps = fps;
        e->br = br;
        e->gi = gi;
        e->pix_fmt = pix_fmt;
        e->flag = scale_flag;
        e->bridge = NULL;

@@ -576,39 +410,61 @@
        auto ctx = e->enc->getCodecContext();

        if (e->bridge == NULL){
            AVPixelFormat pix_fmt = AV_PIX_FMT_BGR24;
            e->bridge = new cvbridge(
                    w, h, AV_PIX_FMT_BGR24,
                    w, h, e->pix_fmt,
                    e->w, e->h, ctx->pix_fmt, e->flag);
        }

        AVFrame *frame = e->bridge->getAVFrame(in, w, h);
        auto data(std::make_shared<CodedData>());
        AVFrame *bgr_frame = cvbridge::fillFrame(in, w, h, e->pix_fmt);
        AVFrame *frame = e->bridge->convert2Frame(bgr_frame);
        av_frame_free(&bgr_frame);

        AVPacket *pkt = av_packet_alloc();
   
      const int flag = e->enc->encode(data, frame);
      if(flag > 0){
            auto pkt = data->getAVPacket();
        auto flag = e->enc->encode(pkt, frame);
      if(flag == 0){
            int extradata_size = ctx->extradata_size;
         uint8_t *extra = ctx->extradata;

            *key = pkt.flags & AV_PKT_FLAG_KEY;
            *key = pkt->flags & AV_PKT_FLAG_KEY;
           if(!(*key)){
               extradata_size = 0;
           }
           *size = pkt.size + extradata_size;
           *size = pkt->size + extradata_size;
           *out = (unsigned char *)malloc(*size);

           memcpy(*out, extra, extradata_size);
           memcpy(*out + extradata_size, pkt.data, pkt.size);
           memcpy(*out + extradata_size, pkt->data, pkt->size);

      }else{
         logIt("encode error or need more packet\n");
      }

        av_packet_free(&pkt);
        av_frame_free(&frame);

        return flag;
    }

    int GetGb28181Pic(const char *rtspUrl, char *retData, int *retDataLen){
        int ret = 0;
        std::string fn = rtspUrl;

        auto handle_gb28181 = new GB28181API;
        if(handle_gb28181->addCamera(fn) == -1){
            delete(handle_gb28181);
            logIt("do addCamera Error\n");
            return -1;
        }

        int retLen = handle_gb28181->capturePic(handle_gb28181, retData, retDataLen);
        if(retLen == 0){
            logIt("do capturePic failed:%d");
            ret = -1;
        }

        handle_gb28181->deleteCamera();
        return ret;
    }
}