ffmpeg学习1

in 杂记 with 7432 comments

前提

I帧:关键帧,帧内压缩,不使用运动补偿,不依赖其他库,可以独立解码

P帧:帧间编码方式,前向时间预测,可以包含帧内编码的部分,p帧的宏块可以是前向预测,也可以是帧内编码。依赖于前面的I帧或P帧

B帧:帧间编码方式,双向时间预测,大大提高压缩倍数。视频帧的传输顺序和显示顺序不同,依赖前面的P帧或I帧,依赖后面的P帧

图像组GOP:两个关键帧之间的距离,码率不变,GOP越大,P、B帧越多,图像质量越好

libavformat:媒体文件容器格式处理库,音视频混流处理MediaMuxer和音视频解析MediaDemuxer:需要用到该库进行码流文件解析和混流

libavcodec:编解码器库

libswresample:音频格式转换和重采样处理的库

libswscale:视频格式转换和缩放处理的库

libavfilter:音视频滤镜、特效处理的库

libavdevice:设备操作库

libavutil:Utility辅助函数库,提供一些独立的辅助函数功能

重点数据结构和基础

1、音视频数据帧AVFrame,表示未进行编码压缩的音视频数据

typedef struct AVFrame{
    ......
    // 视频帧图像数据 或者 音频帧PCM数据, 根据不同的格式有不同的存放方式
    // 对于视频帧:RGB/RGBA 格式时 data[0] 中一次存放每个像素的RGB/RGBA数据
    // YUV420 格式时 data[0]存放Y数据;  data[1]存放U数据; data[2]存放V数据
    // 对于音频帧: data[0]存放左声道数据;  data[1]存放右声道数据
    uint8_t *data[AV_NUM_DATA_POINTERS];
    
    // 行字节跨度, 相当于stride
    // 对于视频帧: 上下两行同一列像素相差的字节数,例如:对于RGBA通常是(width*4), 但是有时FFMPEG内部会有扩展, 可能会比这个值大
    // 对于音频帧: 单个通道中所有采样占用的字节数
    int linesize[AV_NUM_DATA_POINTERS];
    
    int format;// 视频帧是图像格式,音频帧是采样格式
    int64_t pts;// 当前数据帧的时间戳
    
    int width,height;// 仅用于视频帧,宽度高度
    int key_frame;// 仅用于视频,当前是否是I帧
    
    int sample_rate;// 音频,采样率
    uint64_t channel_layout;// 音频,通道类型
    int nb_samples;// 音频,样本数量
}AVFrame;

常用的操作函数

AVFrame *av_frame_alloc(void);  // 分配一个数据帧结构

AVFrame *av_frame_clone(const AVFrame *src); // 完整的克隆数据帧结构, 包括其内部数据

void av_frame_free(AVFrame **frame);  // 释放数据帧结构及其内部数据

int av_frame_ref(AVFrame *dst, const AVFrame *src);  // 增加引用计数

void av_frame_unref(AVFrame *frame);  // 减少引用计数

2、音视频数据包AVPacket,表示压缩后的音视频数据

typedef struct AVPacket{
    ......
    int64_t pts;// 显示时间戳
    int64_t dts;// 解码时间戳,对于音频来说,通常与pts相同
    uint8_t *data;// 实际压缩后的视频或者音频数据
    int size;// 压缩后的数据大小
    int stream_index;// 流索引值,在媒体文件中,使用0,1来区分音视频流
    int flags;
    
    int64_t duration;// 渲染显示时长
    int64_t pos;// 当前包在流中的位置,-1表示未知
    ......
}AVPacket;

常用的操作函数

AVPacket *av_packet_alloc(void);  // 分配一个数据包结构体

AVPacket *av_packet_clone(const AVPacket *src);  // 完整赋值一个数据包

void av_packet_free(AVPacket **pkt);  // 释放数据包结构及其内部的数据

void av_init_packet(AVPacket *pkt);   // 初始化数据包结构,可选字段都设置为默认值

int av_new_packet(AVPacket *pkt, int size); // 根据指定大小创建包结构中的数据

3、时间基和时间戳

时间基time_base:时间刻度的概念

eg:time_base = 1/200,相当于将1000ms均分为200份,每个时间单位是5ms,当视频帧的pts=1173时,对应的实际时刻点是1173*5=5865ms

媒体文件解析分流

文件处理:1、音频流 2、视频流

流媒体文件相关的API:libavformat库中的函数

1、avformat_open_input()/avformat_close_input()

2、avformat_seek_file()——暂时不推荐使用

3、av_read_frame()

解码器相关API:libavcodec库中的函数

1、avcodec_alloc_context3()/avcodec_free_context()

2、avcodec_parameters_to_context()

3、avcodec_open2()/avcodec_close()

4、avcodec_send_packet()/avcodec_receive_frame()

Responses / Cancel Reply
  1. Искали надежный способ быстро перевести деньги на карту без отказов? Сайт all-credit.ru предлагает эксклюзивную возможность получить займ на карту срочно и без задержек. Вам не потребуется искать поручителей или гарантов. Оформление отнимает всего немного времени, а деньги переводятся на карту мгновенно. Платформа all-credit.ru предоставляет доступ к займам от лучших МФО, предоставляя высокую вероятность утверждения даже с плохой кредитной историей.

    Здесь вы можете взять кредит на карту срочно без отказа , выбрав оптимальные условия. Убедитесь, что сайт all-credit.ru предлагает действительно выгодные условия для срочных денежных нужд. Выберите лучший займ и возьмите деньги немедленно и без задержек.

    Плюсы таких займов явны: минимальные требования, простота оформления и высокая вероятность одобрения. Для многих это служит идеальным решением, когда срочно нужны средства. Используйте возможность получить где взять деньги срочно без отказа и зачислите нужные средства без ожиданий. All-credit.ru — ваш доверенный партнер в мире микрофинансирования.

    Reply
  2. It's going to be ending of mine day, however before ending
    I am reading this wonderful piece of writing to increase my experience.

    Reply
  3. It's perfect time to make a few plans for the future and it's time to be happy.

    I've read this put up and if I may just I wish to counsel you few
    attention-grabbing issues or tips. Perhaps you can write next articles relating to
    this article. I wish to read even more issues about it!

    Reply
  4. My coder is trying to convince me to move to .net from
    PHP. I have always disliked the idea because of the expenses.
    But he's tryiong none the less. I've been using WordPress on several websites for about a year and am nervous about switching to another platform.
    I have heard fantastic things about blogengine.net. Is there a way
    I can transfer all my wordpress content into it? Any kind of help would be greatly appreciated!

    Reply
  5. Аренда яхты. Сервис онлайн бронирования доступны по всему миру. Аренда морского и речного транспорта,. Лодки, яхты, катера от бюджетного до продвинутого класса. Сайт arendakatera.pro"
    Морские прогулки. Большой выбор морских прогулок. Уникальные маршруты. Наш Сайт Аренда яхттак же вы можете задать интересующие вас вопросы пот телеграмм канале вот адрес https://t.me/arendakaterapro пишите)))

    Reply
  6. GlennUsemy

    Сертификация ИСО 45001-2020 может быть проведена на любом предприятии независимо от численности персонала и сферы деятельности. Более востребованным получение сертификата ИСО 45001-2020 является для компаний, деятельность которых связана с риском для жизни и здоровья персонал https://teletype.in/@sezdok/chto-takoe-sertifikat-iso-45001

    Reply
  7. Brianviota

    Надежный поставщик динамических и статических прокси, сохраняющий стабильность вашей web активности: резидентные прокси - https://residential-proxy.ru/

    Reply
  8. Excellent goods from you, man. I've understand your stuff
    previous to and you are just extremely great.
    I actually like what you have acquired here, really like what
    you are stating and the way in which you say it. You
    make it entertaining and you still care for to keep it wise.
    I can't wait to read far more from you. This is actually
    a tremendous website.

    Reply
  9. Hey there I am so happy I found your webpage, I really found you by error, while I was searching
    on Bing for something else, Anyhow I am here now and would
    just like to say kudos for a remarkable post and a all round exciting blog
    (I also love the theme/design), I don’t have time to browse it all at the minute but I
    have saved it and also added in your RSS feeds, so when I have time I will be back to read a lot more,
    Please do keep up the great work.

    Reply
  10. Lionelpulse

    https://www.gemius.ru/

    Reply