Михаиллл
Михаиллл16 апреля 2020 г. 14:12

Qt и ffmpeg запаздывание отображения картинки.

Добрый день.
С помощью ffmpeg считываю видео, разбиваю на кадры и пытаюсь отобразить картинки на лэйьле.
Почемуто начинает отображатся только последняя картинка и только после завершения работы функции, тогда как предыдущие картинки не отображается, хотя дебаг говорит что функция рисования работает.
Скажите пожалуйста, с чем может быть связан баг отрисовки и как его исправить?

void MainWindow::test2()
{
    static struct SwsContext *img_convert_ctx;
    int videoStream, i, numBytes;
    int ret, got_picture;

    avformat_network_init();   //初始化FFmpeg网络模块
    av_register_all();  //初始化FFMPEG  调用了这个才能正常适用编码器和解码器


    AVFormatContext *pFormatCtx = NULL;
    //Allocate an AVFormatContext.
    pFormatCtx = avformat_alloc_context();

    // Open video file
    if(avformat_open_input(&pFormatCtx, "./Wildlife.wmv", 0, 0) != 0)
        qDebug()<<"Couldn't open file";

    if(avformat_find_stream_info(pFormatCtx, NULL) < 0)
     qDebug()<<"Couldn't find stream information";

    av_dump_format(pFormatCtx, 0, "./Wildlife.wmv", 0);//information abaut file

    AVCodecContext *pCodecCtxOrig = NULL;
    AVCodecContext *pCodecCtx = NULL;

    // Find the first video stream
    videoStream = -1;
    for(i=0; i<pFormatCtx->nb_streams; i++)
        if(pFormatCtx->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO) {
            videoStream=i;
            break;
        }
    if(videoStream == -1)
        qDebug()<<"Didn't find a video stream";

    // Get a pointer to the codec context for the video stream
    pCodecCtx=pFormatCtx->streams[videoStream]->codec;

    AVCodec *pCodec = NULL;

    // Find the decoder for the video stream
    pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
    if(pCodec == NULL) {
     fprintf(stderr, "Unsupported codec!\n");
     qDebug()<<"Codec not found";
    }

    // Copy context
    //pCodecCtx = avcodec_alloc_context3(pCodec);
//    if(avcodec_copy_context(pCodecCtx, pCodecCtxOrig) != 0) {  //not work!!!!!!!!!!!!!!!!!!!!!
//     qDebug()<<"Error copying codec context";
//    }
    // Open codec
    AVDictionary *aVDictionary;
    if(avcodec_open2(pCodecCtx, pCodec, NULL) < 0)
        qDebug()<<"Could not open codec";

    // Выделить видеокадр // Allocate video frame
    AVFrame *pFrame = NULL;
    pFrame = av_frame_alloc();

    // Allocate an AVFrame structure
    AVFrame *pFrameRGB;
    pFrameRGB = av_frame_alloc();
    if(pFrameRGB == NULL)
        qDebug()<<"pFrameRGB == NULL";

    uint8_t *buffer = NULL;
    numBytes;
    // Determine required buffer size and allocate buffer
    numBytes=avpicture_get_size(AV_PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height);
    buffer=(uint8_t *)av_malloc(numBytes*sizeof(uint8_t));

    // Assign appropriate parts of buffer to image planes in pFrameRGB
    // Note that pFrameRGB is an AVFrame, but AVFrame is a superset
    // of AVPicture
    avpicture_fill((AVPicture *)pFrameRGB, buffer, AV_PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height);

    struct SwsContext *sws_ctx = NULL;
    int frameFinished;
    AVPacket packet;
    // initialize SWS context for software scaling
    sws_ctx = sws_getContext(pCodecCtx->width,
        pCodecCtx->height,
        pCodecCtx->pix_fmt,
        pCodecCtx->width,
        pCodecCtx->height,
        AV_PIX_FMT_RGB24,
        SWS_BILINEAR,
        NULL,
        NULL,
        NULL
        );

    i=0;
    while(av_read_frame(pFormatCtx, &packet)>=0) {
      // Is this a packet from the video stream?
      if(packet.stream_index==videoStream) {
        // Decode video frame
        avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);

        // Did we get a video frame?
        if(frameFinished) {
        // Convert the image from its native format to RGB
            sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data,
              pFrame->linesize, 0, pCodecCtx->height,
              pFrameRGB->data, pFrameRGB->linesize);

            // view image on label
            //if(++i<=20) //first 20 images view on label
            {
                qDebug()<<"view image on label";
                QImage image( pCodecCtx->width, pCodecCtx->height, QImage::Format_RGB888 );
                for( int y = 0; y < pCodecCtx->height; ++y ){
                   memcpy( image.scanLine(y), pFrameRGB->data[0]+y * pFrameRGB->linesize[0], pCodecCtx->width * 3 );
                }
                //ui->label->setPixmap(QPixmap::fromImage(image,Qt::AutoColor));
                paintImageOnLabel(image);
                qDebug()<<"view image on label222";
            }
        }
      }

      // Free the packet that was allocated by av_read_frame
      av_free_packet(&packet);
    }

    // Free the RGB image
    av_free(buffer);
    av_frame_free(&pFrameRGB);

    // Free the YUV frame
    av_frame_free(&pFrame);

    // Close the codecs
    avcodec_close(pCodecCtx);
    avcodec_close(pCodecCtxOrig);

    // Close the video file
    avformat_close_input(&pFormatCtx);
}
void MainWindow::paintImageOnLabel(QImage image)
{
    qDebug()<<"paintImageOnLabel()";
    ui->label->update();
    ui->label->setPixmap(QPixmap::fromImage(image,Qt::AutoColor));
    ui->label->update();
    //QThread::sleep(1);
}

Картинка рисуется в этом участке кода

                qDebug()<<"view image on label";
                QImage image( pCodecCtx->width, pCodecCtx->height, QImage::Format_RGB888 );
                for( int y = 0; y < pCodecCtx->height; ++y ){
                   memcpy( image.scanLine(y), pFrameRGB->data[0]+y * pFrameRGB->linesize[0], pCodecCtx->width * 3 );
                }
                //ui->label->setPixmap(QPixmap::fromImage(image,Qt::AutoColor));
                paintImageOnLabel(image);
                qDebug()<<"view image on label222";
Рекомендуем хостинг TIMEWEB
Рекомендуем хостинг TIMEWEB
Стабильный хостинг, на котором располагается социальная сеть EVILEG. Для проектов на Django рекомендуем VDS хостинг.

Вам это нравится? Поделитесь в социальных сетях!

6
Михаиллл
  • 17 апреля 2020 г. 4:00

Говорят что это все из-за цикла while, говорят он блокирует петлю событий и потому не рисуется лэйбел. Похоже нужно использовать QTimer. Но не понимаю, как его использовать при чтении. Подскажите пожалуйста.

    Evgenii Legotckoi
    • 17 апреля 2020 г. 4:20

    Я согласен с тем, что говорят.
    Думаю, что вам нужно в классе MainWindow добавить QTimer на стеке, в конструкторе класса MainWindow подключить к слоту timeout таймера слот, который будет рисовать каждый кадр, то есть по сути либо всё содержимое метода test2 либо необходимую для отрисовки часть.
    Таймер запускать с необходимой частотой, чтобы был там FPS 30 например.

      Михаиллл
      • 17 апреля 2020 г. 4:46

      Не совсем Вас понял. Т.е. нужно сначало все картинки нужно записать в вектор и уже потом рисовать из этого вектора по таймеру?

        Evgenii Legotckoi
        • 17 апреля 2020 г. 4:47

        Нет, таймер запускает периодически слот, например 30 раз в секунду, который проверяет наличие новых фреймов, и если фрейм существует то отрисовывает его.
        По идее за одну сработку слота будет отрисовываться один кадр.

          Михаиллл
          • 17 апреля 2020 г. 5:00

          А если чтение фалйла будет в раз 5 быстрее? При таком подходе будут воспроизводиться картинки с большим количеством пропусков. Что бы оно работало, нужно задать скорость работы цикла, а это ведь зависит только от процессора. Или я не так вас понял?

            Evgenii Legotckoi
            • 17 апреля 2020 г. 5:07
            • (ред.)
            • Ответ был помечен как решение.

            Вы меня правильно поняли.
            Вообще, это вопрос задачи, которую вы пытаетесь реализовать.

            Если вам нужно просто воспроизведение, то проблемы я тут собственно говоря не вижу. Буффер кадров ffmpeg по идее не должен наполняться быстрее, чем воспроизводится видео. А человеческий глаз не воспринимает быстрее 30 кадров в секунду. То есть не должно быть заметно, даже если будут пропуски.

            Если же вы хотите считывать все кадры и не пропускать ничего, то тогда переносите этот код в отдельный поток через QTread::moveToThread и выполняйте цикл while пересылая фреймы в главный поток окна через сигнал-слотовое соединение. Тогда таймер не нужен будет.

              Комментарии

              Только авторизованные пользователи могут публиковать комментарии.
              Пожалуйста, авторизуйтесь или зарегистрируйтесь
              Дмитрий

              C++ - Тест 004. Указатели, Массивы и Циклы

              • Результат:60баллов,
              • Очки рейтинга-1
              Дмитрий

              C++ - Тест 003. Условия и циклы

              • Результат:92баллов,
              • Очки рейтинга8
              d
              • dsfs
              • 26 апреля 2024 г. 4:56

              C++ - Тест 004. Указатели, Массивы и Циклы

              • Результат:80баллов,
              • Очки рейтинга4
              Последние комментарии
              k
              kmssr8 февраля 2024 г. 18:43
              Qt Linux - Урок 001. Автозапуск Qt приложения под Linux как сделать автозапуск для флэтпака, который не даёт создавать файлы в ~/.config - вот это вопрос ))
              АК
              Анатолий Кононенко5 февраля 2024 г. 1:50
              Qt WinAPI - Урок 007. Работаем с ICMP Ping в Qt Без строки #include <QRegularExpressionValidator> в заголовочном файле не работает валидатор.
              EVA
              EVA25 декабря 2023 г. 10:30
              Boost - статическая линковка в CMake проекте под Windows Ошибка LNK1104 часто возникает, когда компоновщик не может найти или открыть файл библиотеки. В вашем случае, это файл libboost_locale-vc142-mt-gd-x64-1_74.lib из библиотеки Boost для C+…
              J
              JonnyJo25 декабря 2023 г. 8:38
              Boost - статическая линковка в CMake проекте под Windows Сделал всё по-как у вас, но выдаёт ошибку [build] LINK : fatal error LNK1104: не удается открыть файл "libboost_locale-vc142-mt-gd-x64-1_74.lib" Хоть убей, не могу понять в чём дел…
              G
              Gvozdik18 декабря 2023 г. 21:01
              Qt/C++ - Урок 056. Подключение библиотеки Boost в Qt для компиляторов MinGW и MSVC Для решения твой проблемы добавь в файл .pro строчку "LIBS += -lws2_32" она решит проблему , лично мне помогло.
              Сейчас обсуждают на форуме
              G
              George137 мая 2024 г. 0:27
              добавить qlineseries в функции в функции: "GPlotter::addSeries(QString title, QVector &arr)" я вызываю метод setChart(...), я в конструктор передал адрес на QChartView элемент
              BlinCT
              BlinCT5 мая 2024 г. 5:46
              Написать свой GraphsView Всем привет. В Qt есть давольно старый обьект дял работы с графиками ChartsView и есть в 6.7 новый но очень сырой и со слабым функционалом GraphsView. По этой причине я хочу написать х…
              PS
              Peter Son3 мая 2024 г. 17:57
              Best Indian Food Restaurant In Cincinnati OH Ready to embark on a gastronomic journey like no other? Join us at App india restaurant and discover why we're renowned as the Best Indian Food Restaurant In Cincinnati OH . Whether y…
              Evgenii Legotckoi
              Evgenii Legotckoi2 мая 2024 г. 14:07
              Мобильное приложение на C++Qt и бэкенд к нему на Django Rest Framework Добрый день. По моему мнению - да, но то, что будет касаться вызовов к функционалу Андроида, может создать огромные трудности.
              IscanderChe
              IscanderChe30 апреля 2024 г. 4:22
              Во Flask рендер шаблона не передаётся в браузер Доброе утро! Имеется вот такой шаблон: <!doctype html><html> <head> <title>{{ title }}</title> <link rel="stylesheet" href="{{ url_…

              Следите за нами в социальных сетях