add rec audio;

zhangmeng

2019-09-24 93f44a10e2e8942e57e62bb210a2ca7d206a51b7

 csrc/wrapper.cpp

@@ -13,9 +13,8 @@
#include "ffmpeg/configure/conf.hpp"
#include "ffmpeg/format/FormatIn.hpp"
#include "ffmpeg/format/FormatOut.hpp"
#include "ffmpeg/property/VideoProp.hpp"
#include "ffmpeg/data/CodedData.hpp"
#include "ffmpeg/data/FrameData.hpp"
#include "ffmpeg/property/VideoProp.hpp"
#include "ffmpeg/log/log.hpp"
#include "ffmpeg/bridge/cvbridge.hpp"

@@ -127,20 +126,21 @@

    void Wrapper::init_worker(ffwrapper::FormatIn *in){
        if (rec_->Loaded() && stream_ && decoder_) return;

        stream_ = new stream(in, 3 * 25);
        stream_->AudioSwitch(audio_);

        decoder_ = new decoder(in, scale_w_, scale_h_, scale_f_);
        

        rec_->Load(in);
        if(fn_rec_lazy_) fn_rec_lazy_(in);
    }
    
    void Wrapper::run_worker(ffwrapper::FormatIn *in, std::shared_ptr<ffwrapper::CodedData> data, int64_t &id){

        if (stream_) stream_->SetPacket(data);
        if (decoder_) decoder_->SetFrame(data, id);
        if (stream_) stream_->SetPacket(data, id);
        if (rec_->Loaded()) rec_->SetPacket(data, id);
        if (decoder_) decoder_->SetFrame(data, id);
    }

    void Wrapper::deinit_worker(){
@@ -160,17 +160,23 @@
                continue;
            }
            
            int wTime = 1000000.0 / in->getFPS() ;
            wTime >>= 1;
            logIt("INPUT FPS: %d", wTime);

            init_worker(in.get());

            int64_t id = 0;
            while(!stop_stream_.load()){
                auto data(std::make_shared<CodedData>());
               if(!in->readPacket(data)){
                    logIt("read packet error");
                if (in->readPacket(&data->getAVPacket()) != 0){
                    logIt("read packet error, id: %lld", id);
                    break;
               }
                
                }
    	        
                run_worker(in.get(), data, id);
                usleep(wTime);

                id++;
            }

@@ -237,7 +243,7 @@
                logIt("yolo can't find video stream\n");
                return NULL;
            }
            auto flag = in->openCodec(AVMEDIA_TYPE_VIDEO, NULL);
            auto flag = in->openCodec(NULL);
            if(flag){
                auto dec_ctx = in->getCodecContext();

@@ -255,22 +261,20 @@
            return NULL;
        }
        
        auto data(std::make_shared<CodedData>());
        if(!in->readPacket(data)){
            logIt("read packet error");
            return NULL;
        uint8_t *data = NULL;
        AVPacket *pkt = av_packet_alloc();
        if(in->readPacket(pkt) == 0){
            AVFrame *frm = av_frame_alloc();
            if(in->decode(frm, pkt) == 0){
                *w = frm->width;
                *h = frm->height;
                data = (unsigned char*)malloc(frm->width * frm->height * 3);
                bridge_->copyPicture(data, frm);
            }
            av_frame_free(&frm);
            av_packet_free(&pkt);
        }
        auto frame(std::make_shared<FrameData>());
        auto ret = in->decode(frame, data);
        if(ret == 1){
            AVFrame *frm = frame->getAVFrame();
            *w = frm->width;
            *h = frm->height;
            unsigned char *data = (unsigned char*)malloc(frm->width * frm->height * 3);
            bridge_->copyPicture(data, frm);
            return data;
        }
        return NULL;
        return data;
    }
/////// for encoder
    typedef struct _PicEncoder{
@@ -334,28 +338,28 @@
        }

        AVFrame *frame = e->bridge->getAVFrame(in, w, h);
        auto data(std::make_shared<CodedData>());
        AVPacket *pkt = av_packet_alloc();
   
      const int flag = e->enc->encode(data, frame);
      if(flag > 0){
            auto pkt = data->getAVPacket();
        auto flag = e->enc->encode(pkt, frame);
      if(flag == 0){
            int extradata_size = ctx->extradata_size;
         uint8_t *extra = ctx->extradata;

            *key = pkt.flags & AV_PKT_FLAG_KEY;
            *key = pkt->flags & AV_PKT_FLAG_KEY;
           if(!(*key)){
               extradata_size = 0;
           }
           *size = pkt.size + extradata_size;
           *size = pkt->size + extradata_size;
           *out = (unsigned char *)malloc(*size);

           memcpy(*out, extra, extradata_size);
           memcpy(*out + extradata_size, pkt.data, pkt.size);
           memcpy(*out + extradata_size, pkt->data, pkt->size);

      }else{
         logIt("encode error or need more packet\n");
      }

        av_packet_free(&pkt);
        av_frame_free(&frame);

        return flag;