Михаиллл
Михаиллл17 апреля 2020 г. 0:12

Qt и ffmpeg запаздывание отображения картинки.

Добрый день.
С помощью ffmpeg считываю видео, разбиваю на кадры и пытаюсь отобразить картинки на лэйьле.
Почемуто начинает отображатся только последняя картинка и только после завершения работы функции, тогда как предыдущие картинки не отображается, хотя дебаг говорит что функция рисования работает.
Скажите пожалуйста, с чем может быть связан баг отрисовки и как его исправить?

void MainWindow::test2()
{
    static struct SwsContext *img_convert_ctx;
    int videoStream, i, numBytes;
    int ret, got_picture;

    avformat_network_init();   //初始化FFmpeg网络模块
    av_register_all();  //初始化FFMPEG  调用了这个才能正常适用编码器和解码器


    AVFormatContext *pFormatCtx = NULL;
    //Allocate an AVFormatContext.
    pFormatCtx = avformat_alloc_context();

    // Open video file
    if(avformat_open_input(&pFormatCtx, "./Wildlife.wmv", 0, 0) != 0)
        qDebug()<<"Couldn't open file";

    if(avformat_find_stream_info(pFormatCtx, NULL) < 0)
     qDebug()<<"Couldn't find stream information";

    av_dump_format(pFormatCtx, 0, "./Wildlife.wmv", 0);//information abaut file

    AVCodecContext *pCodecCtxOrig = NULL;
    AVCodecContext *pCodecCtx = NULL;

    // Find the first video stream
    videoStream = -1;
    for(i=0; i<pFormatCtx->nb_streams; i++)
        if(pFormatCtx->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO) {
            videoStream=i;
            break;
        }
    if(videoStream == -1)
        qDebug()<<"Didn't find a video stream";

    // Get a pointer to the codec context for the video stream
    pCodecCtx=pFormatCtx->streams[videoStream]->codec;

    AVCodec *pCodec = NULL;

    // Find the decoder for the video stream
    pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
    if(pCodec == NULL) {
     fprintf(stderr, "Unsupported codec!\n");
     qDebug()<<"Codec not found";
    }

    // Copy context
    //pCodecCtx = avcodec_alloc_context3(pCodec);
//    if(avcodec_copy_context(pCodecCtx, pCodecCtxOrig) != 0) {  //not work!!!!!!!!!!!!!!!!!!!!!
//     qDebug()<<"Error copying codec context";
//    }
    // Open codec
    AVDictionary *aVDictionary;
    if(avcodec_open2(pCodecCtx, pCodec, NULL) < 0)
        qDebug()<<"Could not open codec";

    // Выделить видеокадр // Allocate video frame
    AVFrame *pFrame = NULL;
    pFrame = av_frame_alloc();

    // Allocate an AVFrame structure
    AVFrame *pFrameRGB;
    pFrameRGB = av_frame_alloc();
    if(pFrameRGB == NULL)
        qDebug()<<"pFrameRGB == NULL";

    uint8_t *buffer = NULL;
    numBytes;
    // Determine required buffer size and allocate buffer
    numBytes=avpicture_get_size(AV_PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height);
    buffer=(uint8_t *)av_malloc(numBytes*sizeof(uint8_t));

    // Assign appropriate parts of buffer to image planes in pFrameRGB
    // Note that pFrameRGB is an AVFrame, but AVFrame is a superset
    // of AVPicture
    avpicture_fill((AVPicture *)pFrameRGB, buffer, AV_PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height);

    struct SwsContext *sws_ctx = NULL;
    int frameFinished;
    AVPacket packet;
    // initialize SWS context for software scaling
    sws_ctx = sws_getContext(pCodecCtx->width,
        pCodecCtx->height,
        pCodecCtx->pix_fmt,
        pCodecCtx->width,
        pCodecCtx->height,
        AV_PIX_FMT_RGB24,
        SWS_BILINEAR,
        NULL,
        NULL,
        NULL
        );

    i=0;
    while(av_read_frame(pFormatCtx, &packet)>=0) {
      // Is this a packet from the video stream?
      if(packet.stream_index==videoStream) {
        // Decode video frame
        avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);

        // Did we get a video frame?
        if(frameFinished) {
        // Convert the image from its native format to RGB
            sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data,
              pFrame->linesize, 0, pCodecCtx->height,
              pFrameRGB->data, pFrameRGB->linesize);

            // view image on label
            //if(++i<=20) //first 20 images view on label
            {
                qDebug()<<"view image on label";
                QImage image( pCodecCtx->width, pCodecCtx->height, QImage::Format_RGB888 );
                for( int y = 0; y < pCodecCtx->height; ++y ){
                   memcpy( image.scanLine(y), pFrameRGB->data[0]+y * pFrameRGB->linesize[0], pCodecCtx->width * 3 );
                }
                //ui->label->setPixmap(QPixmap::fromImage(image,Qt::AutoColor));
                paintImageOnLabel(image);
                qDebug()<<"view image on label222";
            }
        }
      }

      // Free the packet that was allocated by av_read_frame
      av_free_packet(&packet);
    }

    // Free the RGB image
    av_free(buffer);
    av_frame_free(&pFrameRGB);

    // Free the YUV frame
    av_frame_free(&pFrame);

    // Close the codecs
    avcodec_close(pCodecCtx);
    avcodec_close(pCodecCtxOrig);

    // Close the video file
    avformat_close_input(&pFormatCtx);
}
void MainWindow::paintImageOnLabel(QImage image)
{
    qDebug()<<"paintImageOnLabel()";
    ui->label->update();
    ui->label->setPixmap(QPixmap::fromImage(image,Qt::AutoColor));
    ui->label->update();
    //QThread::sleep(1);
}

Картинка рисуется в этом участке кода

                qDebug()<<"view image on label";
                QImage image( pCodecCtx->width, pCodecCtx->height, QImage::Format_RGB888 );
                for( int y = 0; y < pCodecCtx->height; ++y ){
                   memcpy( image.scanLine(y), pFrameRGB->data[0]+y * pFrameRGB->linesize[0], pCodecCtx->width * 3 );
                }
                //ui->label->setPixmap(QPixmap::fromImage(image,Qt::AutoColor));
                paintImageOnLabel(image);
                qDebug()<<"view image on label222";
Рекомендуем хостинг TIMEWEB
Рекомендуем хостинг TIMEWEB
Стабильный хостинг, на котором располагается социальная сеть EVILEG. Для проектов на Django рекомендуем VDS хостинг.

Вам это нравится? Поделитесь в социальных сетях!

6
Михаиллл
  • 17 апреля 2020 г. 14:00

Говорят что это все из-за цикла while, говорят он блокирует петлю событий и потому не рисуется лэйбел. Похоже нужно использовать QTimer. Но не понимаю, как его использовать при чтении. Подскажите пожалуйста.

    Evgenii Legotckoi
    • 17 апреля 2020 г. 14:20

    Я согласен с тем, что говорят.
    Думаю, что вам нужно в классе MainWindow добавить QTimer на стеке, в конструкторе класса MainWindow подключить к слоту timeout таймера слот, который будет рисовать каждый кадр, то есть по сути либо всё содержимое метода test2 либо необходимую для отрисовки часть.
    Таймер запускать с необходимой частотой, чтобы был там FPS 30 например.

      Михаиллл
      • 17 апреля 2020 г. 14:46

      Не совсем Вас понял. Т.е. нужно сначало все картинки нужно записать в вектор и уже потом рисовать из этого вектора по таймеру?

        Evgenii Legotckoi
        • 17 апреля 2020 г. 14:47

        Нет, таймер запускает периодически слот, например 30 раз в секунду, который проверяет наличие новых фреймов, и если фрейм существует то отрисовывает его.
        По идее за одну сработку слота будет отрисовываться один кадр.

          Михаиллл
          • 17 апреля 2020 г. 15:00

          А если чтение фалйла будет в раз 5 быстрее? При таком подходе будут воспроизводиться картинки с большим количеством пропусков. Что бы оно работало, нужно задать скорость работы цикла, а это ведь зависит только от процессора. Или я не так вас понял?

            Evgenii Legotckoi
            • 17 апреля 2020 г. 15:07
            • (ред.)
            • Ответ был помечен как решение.

            Вы меня правильно поняли.
            Вообще, это вопрос задачи, которую вы пытаетесь реализовать.

            Если вам нужно просто воспроизведение, то проблемы я тут собственно говоря не вижу. Буффер кадров ffmpeg по идее не должен наполняться быстрее, чем воспроизводится видео. А человеческий глаз не воспринимает быстрее 30 кадров в секунду. То есть не должно быть заметно, даже если будут пропуски.

            Если же вы хотите считывать все кадры и не пропускать ничего, то тогда переносите этот код в отдельный поток через QTread::moveToThread и выполняйте цикл while пересылая фреймы в главный поток окна через сигнал-слотовое соединение. Тогда таймер не нужен будет.

              Комментарии

              Только авторизованные пользователи могут публиковать комментарии.
              Пожалуйста, авторизуйтесь или зарегистрируйтесь
              Ua

              Qt - Тест 001. Сигналы и слоты

              • Результат:84баллов,
              • Очки рейтинга4
              Ua

              Qt - Тест 001. Сигналы и слоты

              • Результат:42баллов,
              • Очки рейтинга-8
              ОК

              Qt - Тест 001. Сигналы и слоты

              • Результат:47баллов,
              • Очки рейтинга-6
              Последние комментарии
              ИМ
              Игорь Максимов22 ноября 2024 г. 21:51
              Django - Урок 017. Кастомизированная страница авторизации на Django Добрый вечер Евгений! Я сделал себе авторизацию аналогичную вашей, все работает, кроме возврата к предидущей странице. Редеректит всегда на главную, хотя в логах сервера вижу запросы на правильн…
              Evgenii Legotckoi
              Evgenii Legotckoi31 октября 2024 г. 23:37
              Django - Урок 064. Как написать расширение для Python Markdown Добрый день. Да, можно. Либо через такие же плагины, либо с постобработкой через python библиотеку Beautiful Soup
              A
              ALO1ZE19 октября 2024 г. 17:19
              Читалка fb3-файлов на Qt Creator Подскажите как это запустить? Я не шарю в программировании и кодинге. Скачал и установаил Qt, но куча ошибок выдается и не запустить. А очень надо fb3 переконвертировать в html
              ИМ
              Игорь Максимов5 октября 2024 г. 16:51
              Django - Урок 064. Как написать расширение для Python Markdown Приветствую Евгений! У меня вопрос. Можно ли вставлять свои классы в разметку редактора markdown? Допустим имея стандартную разметку: <ul> <li></li> <li></l…
              d
              dblas55 июля 2024 г. 20:02
              QML - Урок 016. База данных SQLite и работа с ней в QML Qt Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
              Сейчас обсуждают на форуме
              f
              firstlunoxod15 февраля 2025 г. 13:46
              Рисование на QGraphicsScene при зажатой кнопке мыши Подскажите, пожалуйста! Как данный класс можно дополнить, чтобы созданные объекты можно было перемещать мышкой по сцене?
              Дмитрий
              Дмитрий3 февраля 2025 г. 16:24
              Создание deb-пакета. Как создать ярлык на рабочем столе после установки собственного deb-пакета? Всем привет. Сделал свой deb-пакет с программой. Всё устанавливается и работает. Ставлю по пути /usr/bin/my_application. Как для пользователя при установке пакета сразу создать ярлык на раб…
              NW
              Nayo Wai30 января 2025 г. 19:22
              не запускается компьютер!!! Не запускается компьютер (точнее работает блок , но сам монитор вообще жесть)В общем я ничего с интернета не скачивала в последнее время. На компе никаких левых пр…
              n
              nkly3 января 2025 г. 12:52
              Нужно запретить перемещение только некоторых итемов, остальные перемещать можно. Вопрос решен. Узнать QModelIndex элемента на который мы перетаскиваем другой элемент, можно с помощью функции indexAt(event->position().toPoint()) представления QTreeViev вызываемой в переопр…
              M
              Marsel17 августа 2023 г. 0:26
              OAuth2.0 через VK, получение email Спасибо большое за помощь и простите за то что отнял время своей невнимательностью.

              Следите за нами в социальных сетях