Михаиллл
МихаилллСәуір 16, 2020, 2:12 Т.Қ.

Qt и ffmpeg запаздывание отображения картинки.

Добрый день.
С помощью ffmpeg считываю видео, разбиваю на кадры и пытаюсь отобразить картинки на лэйьле.
Почемуто начинает отображатся только последняя картинка и только после завершения работы функции, тогда как предыдущие картинки не отображается, хотя дебаг говорит что функция рисования работает.
Скажите пожалуйста, с чем может быть связан баг отрисовки и как его исправить?

void MainWindow::test2()
{
    static struct SwsContext *img_convert_ctx;
    int videoStream, i, numBytes;
    int ret, got_picture;

    avformat_network_init();   //初始化FFmpeg网络模块
    av_register_all();  //初始化FFMPEG  调用了这个才能正常适用编码器和解码器


    AVFormatContext *pFormatCtx = NULL;
    //Allocate an AVFormatContext.
    pFormatCtx = avformat_alloc_context();

    // Open video file
    if(avformat_open_input(&pFormatCtx, "./Wildlife.wmv", 0, 0) != 0)
        qDebug()<<"Couldn't open file";

    if(avformat_find_stream_info(pFormatCtx, NULL) < 0)
     qDebug()<<"Couldn't find stream information";

    av_dump_format(pFormatCtx, 0, "./Wildlife.wmv", 0);//information abaut file

    AVCodecContext *pCodecCtxOrig = NULL;
    AVCodecContext *pCodecCtx = NULL;

    // Find the first video stream
    videoStream = -1;
    for(i=0; i<pFormatCtx->nb_streams; i++)
        if(pFormatCtx->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO) {
            videoStream=i;
            break;
        }
    if(videoStream == -1)
        qDebug()<<"Didn't find a video stream";

    // Get a pointer to the codec context for the video stream
    pCodecCtx=pFormatCtx->streams[videoStream]->codec;

    AVCodec *pCodec = NULL;

    // Find the decoder for the video stream
    pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
    if(pCodec == NULL) {
     fprintf(stderr, "Unsupported codec!\n");
     qDebug()<<"Codec not found";
    }

    // Copy context
    //pCodecCtx = avcodec_alloc_context3(pCodec);
//    if(avcodec_copy_context(pCodecCtx, pCodecCtxOrig) != 0) {  //not work!!!!!!!!!!!!!!!!!!!!!
//     qDebug()<<"Error copying codec context";
//    }
    // Open codec
    AVDictionary *aVDictionary;
    if(avcodec_open2(pCodecCtx, pCodec, NULL) < 0)
        qDebug()<<"Could not open codec";

    // Выделить видеокадр // Allocate video frame
    AVFrame *pFrame = NULL;
    pFrame = av_frame_alloc();

    // Allocate an AVFrame structure
    AVFrame *pFrameRGB;
    pFrameRGB = av_frame_alloc();
    if(pFrameRGB == NULL)
        qDebug()<<"pFrameRGB == NULL";

    uint8_t *buffer = NULL;
    numBytes;
    // Determine required buffer size and allocate buffer
    numBytes=avpicture_get_size(AV_PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height);
    buffer=(uint8_t *)av_malloc(numBytes*sizeof(uint8_t));

    // Assign appropriate parts of buffer to image planes in pFrameRGB
    // Note that pFrameRGB is an AVFrame, but AVFrame is a superset
    // of AVPicture
    avpicture_fill((AVPicture *)pFrameRGB, buffer, AV_PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height);

    struct SwsContext *sws_ctx = NULL;
    int frameFinished;
    AVPacket packet;
    // initialize SWS context for software scaling
    sws_ctx = sws_getContext(pCodecCtx->width,
        pCodecCtx->height,
        pCodecCtx->pix_fmt,
        pCodecCtx->width,
        pCodecCtx->height,
        AV_PIX_FMT_RGB24,
        SWS_BILINEAR,
        NULL,
        NULL,
        NULL
        );

    i=0;
    while(av_read_frame(pFormatCtx, &packet)>=0) {
      // Is this a packet from the video stream?
      if(packet.stream_index==videoStream) {
        // Decode video frame
        avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);

        // Did we get a video frame?
        if(frameFinished) {
        // Convert the image from its native format to RGB
            sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data,
              pFrame->linesize, 0, pCodecCtx->height,
              pFrameRGB->data, pFrameRGB->linesize);

            // view image on label
            //if(++i<=20) //first 20 images view on label
            {
                qDebug()<<"view image on label";
                QImage image( pCodecCtx->width, pCodecCtx->height, QImage::Format_RGB888 );
                for( int y = 0; y < pCodecCtx->height; ++y ){
                   memcpy( image.scanLine(y), pFrameRGB->data[0]+y * pFrameRGB->linesize[0], pCodecCtx->width * 3 );
                }
                //ui->label->setPixmap(QPixmap::fromImage(image,Qt::AutoColor));
                paintImageOnLabel(image);
                qDebug()<<"view image on label222";
            }
        }
      }

      // Free the packet that was allocated by av_read_frame
      av_free_packet(&packet);
    }

    // Free the RGB image
    av_free(buffer);
    av_frame_free(&pFrameRGB);

    // Free the YUV frame
    av_frame_free(&pFrame);

    // Close the codecs
    avcodec_close(pCodecCtx);
    avcodec_close(pCodecCtxOrig);

    // Close the video file
    avformat_close_input(&pFormatCtx);
}
void MainWindow::paintImageOnLabel(QImage image)
{
    qDebug()<<"paintImageOnLabel()";
    ui->label->update();
    ui->label->setPixmap(QPixmap::fromImage(image,Qt::AutoColor));
    ui->label->update();
    //QThread::sleep(1);
}

Картинка рисуется в этом участке кода

                qDebug()<<"view image on label";
                QImage image( pCodecCtx->width, pCodecCtx->height, QImage::Format_RGB888 );
                for( int y = 0; y < pCodecCtx->height; ++y ){
                   memcpy( image.scanLine(y), pFrameRGB->data[0]+y * pFrameRGB->linesize[0], pCodecCtx->width * 3 );
                }
                //ui->label->setPixmap(QPixmap::fromImage(image,Qt::AutoColor));
                paintImageOnLabel(image);
                qDebug()<<"view image on label222";
Рекомендуем хостинг TIMEWEB
Рекомендуем хостинг TIMEWEB
Стабильный хостинг, на котором располагается социальная сеть EVILEG. Для проектов на Django рекомендуем VDS хостинг.

Ол саған ұнайды ма? Әлеуметтік желілерде бөлісіңіз!

6
Михаиллл
  • Сәуір 17, 2020, 4 Т.Ж.

Говорят что это все из-за цикла while, говорят он блокирует петлю событий и потому не рисуется лэйбел. Похоже нужно использовать QTimer. Но не понимаю, как его использовать при чтении. Подскажите пожалуйста.

    Evgenii Legotckoi
    • Сәуір 17, 2020, 4:20 Т.Ж.

    Я согласен с тем, что говорят.
    Думаю, что вам нужно в классе MainWindow добавить QTimer на стеке, в конструкторе класса MainWindow подключить к слоту timeout таймера слот, который будет рисовать каждый кадр, то есть по сути либо всё содержимое метода test2 либо необходимую для отрисовки часть.
    Таймер запускать с необходимой частотой, чтобы был там FPS 30 например.

      Михаиллл
      • Сәуір 17, 2020, 4:46 Т.Ж.

      Не совсем Вас понял. Т.е. нужно сначало все картинки нужно записать в вектор и уже потом рисовать из этого вектора по таймеру?

        Evgenii Legotckoi
        • Сәуір 17, 2020, 4:47 Т.Ж.

        Нет, таймер запускает периодически слот, например 30 раз в секунду, который проверяет наличие новых фреймов, и если фрейм существует то отрисовывает его.
        По идее за одну сработку слота будет отрисовываться один кадр.

          Михаиллл
          • Сәуір 17, 2020, 5 Т.Ж.

          А если чтение фалйла будет в раз 5 быстрее? При таком подходе будут воспроизводиться картинки с большим количеством пропусков. Что бы оно работало, нужно задать скорость работы цикла, а это ведь зависит только от процессора. Или я не так вас понял?

            Evgenii Legotckoi
            • Сәуір 17, 2020, 5:07 Т.Ж.
            • (өңделген)
            • Жауап шешім ретінде белгіленді.

            Вы меня правильно поняли.
            Вообще, это вопрос задачи, которую вы пытаетесь реализовать.

            Если вам нужно просто воспроизведение, то проблемы я тут собственно говоря не вижу. Буффер кадров ffmpeg по идее не должен наполняться быстрее, чем воспроизводится видео. А человеческий глаз не воспринимает быстрее 30 кадров в секунду. То есть не должно быть заметно, даже если будут пропуски.

            Если же вы хотите считывать все кадры и не пропускать ничего, то тогда переносите этот код в отдельный поток через QTread::moveToThread и выполняйте цикл while пересылая фреймы в главный поток окна через сигнал-слотовое соединение. Тогда таймер не нужен будет.

              Пікірлер

              Тек рұқсаты бар пайдаланушылар ғана пікір қалдыра алады.
              Кіріңіз немесе Тіркеліңіз
              AD

              C++ - Тест 004. Указатели, Массивы и Циклы

              • Нәтиже:50ұпай,
              • Бағалау ұпайлары-4
              m
              • molni99
              • Қаз. 26, 2024, 1:37 Т.Ж.

              C++ - Тест 004. Указатели, Массивы и Циклы

              • Нәтиже:80ұпай,
              • Бағалау ұпайлары4
              m
              • molni99
              • Қаз. 26, 2024, 1:29 Т.Ж.

              C++ - Тест 004. Указатели, Массивы и Циклы

              • Нәтиже:20ұпай,
              • Бағалау ұпайлары-10
              Соңғы пікірлер
              ИМ
              Игорь МаксимовҚар. 22, 2024, 11:51 Т.Ж.
              Django - Оқулық 017. Теңшелген Django кіру беті Добрый вечер Евгений! Я сделал себе авторизацию аналогичную вашей, все работает, кроме возврата к предидущей странице. Редеректит всегда на главную, хотя в логах сервера вижу запросы на правильн…
              Evgenii Legotckoi
              Evgenii LegotckoiҚаз. 31, 2024, 2:37 Т.Қ.
              Django - Сабақ 064. Python Markdown кеңейтімін қалай жазуға болады Добрый день. Да, можно. Либо через такие же плагины, либо с постобработкой через python библиотеку Beautiful Soup
              A
              ALO1ZEҚаз. 19, 2024, 8:19 Т.Ж.
              Qt Creator көмегімен fb3 файл оқу құралы Подскажите как это запустить? Я не шарю в программировании и кодинге. Скачал и установаил Qt, но куча ошибок выдается и не запустить. А очень надо fb3 переконвертировать в html
              ИМ
              Игорь МаксимовҚаз. 5, 2024, 7:51 Т.Ж.
              Django - Сабақ 064. Python Markdown кеңейтімін қалай жазуға болады Приветствую Евгений! У меня вопрос. Можно ли вставлять свои классы в разметку редактора markdown? Допустим имея стандартную разметку: <ul> <li></li> <li></l…
              d
              dblas5Шілде 5, 2024, 11:02 Т.Ж.
              QML - Сабақ 016. SQLite деректер қоры және онымен QML Qt-та жұмыс істеу Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
              Енді форумда талқылаңыз
              m
              moogoҚар. 22, 2024, 7:17 Т.Ж.
              Mosquito Spray System Effective Mosquito Systems for Backyard | Eco-Friendly Misting Control Device & Repellent Spray - Moogo ; Upgrade your backyard with our mosquito-repellent device! Our misters conce…
              Evgenii Legotckoi
              Evgenii LegotckoiМаусым 24, 2024, 3:11 Т.Қ.
              добавить qlineseries в функции Я тут. Работы оень много. Отправил его в бан.
              t
              tonypeachey1Қар. 15, 2024, 6:04 Т.Ж.
              google domain [url=https://google.com/]domain[/url] domain [http://www.example.com link title]
              NSProject
              NSProjectМаусым 4, 2022, 3:49 Т.Ж.
              Всё ещё разбираюсь с кешем. В следствии прочтения данной статьи. Я принял для себя решение сделать кеширование свойств менеджера модели LikeDislike. И так как установка evileg_core для меня не была возможна, ибо он писался…

              Бізді әлеуметтік желілерде бақылаңыз