Qt/C++ Tutorial 080. Downloading large files with QNetworkAccessManager

QNetworkRequest, Qt, QNetworkAccessManager, QNetworkReply

After the question appeared on the forum about downloading large files using the Qt library, I raised some of my projects and prepared a more detailed manual using this functionality. Moreover, the problem with downloading files was related to redirects. By default, QNetworkAccessManager does not switch to redirects for downloading files and retrieving pages, so you need to set the appropriate attribute in the request, then everything will work, but let's take a closer look.

The application will have the following functionality.

  • QLineEdit for entering the destination URL for downloading
    QLineEdit to enter the target directory for download in readOnly mode. We will fill it with QFileDialog.
    QProgressBar, which will show the progress of the download
    Button to cancel download

Look our downloader will be so

Project Structure

The project consists of

  • FileDownloader.pro - project profile
  • Downloader.h - Header file for downloading files
  • Downloader.cpp - Class implementation file for downloading files
  • Widget.h - Application window header file
  • Widget.cpp - Application window implementation file
  • Widget.ui - Graphical form of the application window
  • main.cpp - The file with the main application function

FileDownloader.pro, main.cpp, Widget.ui will not be considered, the first two are created by default, the latter is created through the Qt Designer graphic editor, look at it in the project itself, which is attached to the article at the very end.

Widget.h

In the header file, all the unimaginable slots for processing the interface buttons are declared and also the class for downloading files is declared on the stack

#ifndef WIDGET_H
#define WIDGET_H

#include "Downloader.h"

#include <QWidget>

namespace Ui {
class Widget;
}

class Widget : public QWidget
{
    Q_OBJECT

public:
    explicit Widget(QWidget *parent = nullptr);
    ~Widget();

private slots:
    // Slot for download start
    void onDownloadButtonClicked();

    // Slot for selecting the download directory
    void onSelectTargetFolderButtonClicked();

    // Slot for canceling the download
    void onCancelButtonClicked();

    // Slot for updating download progress
    void onUpdateProgress(qint64 bytesReceived, qint64 bytesTotal);

private:
    Ui::Widget *ui;
    Downloader m_downloader; // Download Class
};

#endif // WIDGET_H

Widget.cpp

#include "Widget.h"
#include "ui_Widget.h"

#include <QFileDialog>
#include <QStandardPaths>

Widget::Widget(QWidget *parent) :
    QWidget(parent),
    ui(new Ui::Widget)
{
    ui->setupUi(this);
    // Connect to slots
    connect(ui->downloadPushButton, &QPushButton::clicked, this, &Widget::onDownloadButtonClicked);
    connect(ui->selectTargetFolderPushButton, &QPushButton::clicked, this, &Widget::onSelectTargetFolderButtonClicked);
    connect(ui->cancelPushButton, &QPushButton::clicked, this, &Widget::onCancelButtonClicked);
    connect(&m_downloader, &Downloader::updateDownloadProgress, this, &Widget::onUpdateProgress);
}

Widget::~Widget()
{
    delete ui;
}

void Widget::onDownloadButtonClicked()
{
    // We start downloading the file by passing the 
    // path to the directory where we will upload files, 
    // url, where the file is located
    m_downloader.get(ui->targetFolderLineEdit->text(), ui->urlLineEdit->text());
}

void Widget::onSelectTargetFolderButtonClicked()
{
    // Selecting the destination directory for downloading
    QString targetFolder = QFileDialog::getExistingDirectory(this,
                                                             tr("Select folder"),
                                                             QStandardPaths::writableLocation(QStandardPaths::DownloadLocation),
                                                             QFileDialog::ShowDirsOnly | QFileDialog::DontResolveSymlinks);
    ui->targetFolderLineEdit->setText(targetFolder);
}

void Widget::onCancelButtonClicked()
{
    // Cancel upload
    m_downloader.cancelDownload();
    ui->downloadProgressBar->setMaximum(100);
    ui->downloadProgressBar->setValue(0);
}

void Widget::onUpdateProgress(qint64 bytesReceived, qint64 bytesTotal)
{
    // Updating upload progress
    ui->downloadProgressBar->setMaximum(bytesTotal);
    ui->downloadProgressBar->setValue(bytesReceived);
}

Downloader.h

And now look at the class for downloading files, taking into account the progress of the download.

An important point is that large files need to be processed gradually, they can not be read by one query. Therefore, you need to handle the QNetworkReply::readyRead signal from the object of the current response to the request. This signal is emitted when the buffer contains data that we can assume.

And only after the download is completed QNetworkAccessManager will issue a finished signal, which will close the file and complete the connection with the removal of the object of the current response to the request.

#ifndef DOWNLOADER_H
#define DOWNLOADER_H

#include <QNetworkAccessManager>

class QNetworkReply;
class QFile;

class Downloader : public QObject
{
    Q_OBJECT
    using BaseClass = QObject;

public:
    explicit Downloader(QObject* parent = nullptr);

    // Method for starting the download
    bool get(const QString& targetFolder, const QUrl& url);

public slots:
    // Method of canceling the load
    void cancelDownload();

signals:
    // A signal that sends information about the progress of the download
    void updateDownloadProgress(qint64 bytesReceived, qint64 bytesTotal);

private slots:
    // Slot for gradual reading of downloaded data
    void onReadyRead();
    // Slot for processing request completion
    void onReply(QNetworkReply* reply);

private:
    QNetworkReply* m_currentReply {nullptr};    // Current request being processed
    QFile* m_file                 {nullptr};    // The current file to which the entry is being written
    QNetworkAccessManager m_manager;            // Network manager for downloading files
};

#endif // DOWNLOADER_H

Downloader.cpp

#include "Downloader.h"

#include <QNetworkReply>
#include <QNetworkRequest>
#include <QFile>
#include <QDir>

Downloader::Downloader(QObject* parent) :
    BaseClass(parent)
{
    // Connect to the finished signal
    connect(&m_manager, &QNetworkAccessManager::finished, this, &Downloader::onReply);
}

bool Downloader::get(const QString& targetFolder, const QUrl& url)
{
    if (targetFolder.isEmpty() || url.isEmpty())
    {
        return false;
    }

    // Create object of file class for download
    // Here there is a target directory and the name of the file that is allocated from the URL
    m_file = new QFile(targetFolder + QDir::separator() + url.fileName());
    // Trying to open the file
    if (!m_file->open(QIODevice::WriteOnly))
    {
        delete m_file;
        m_file = nullptr;
        return false;
    }

    // Creating a request
    QNetworkRequest request(url);
    // Allow to go on redirects
    request.setAttribute(QNetworkRequest::FollowRedirectsAttribute, true);
    // Running the download
    m_currentReply = m_manager.get(request);

    // After that, we immediately connect to signals about readiness of data to read and update the progress of downloading
    connect(m_currentReply, &QNetworkReply::readyRead, this, &Downloader::onReadyRead);
    connect(m_currentReply, &QNetworkReply::downloadProgress, this, &Downloader::updateDownloadProgress);
    return true;
}

void Downloader::onReadyRead()
{
    // If there is data and the file is open
    if (m_file)
    {
        // write them to a file
        m_file->write(m_currentReply->readAll());
    }
}

void Downloader::cancelDownload()
{
    // Cancel request
    if (m_currentReply)
    {
        m_currentReply->abort();
    }
}

void Downloader::onReply(QNetworkReply* reply)
{
    // by completion of the request
    if (reply->error() == QNetworkReply::NoError)
    {
        // save file
        m_file->flush();
        m_file->close();
    }
    else
    {
        // Or delete it in case of error
        m_file->remove();
    }

    delete m_file;
    m_file = nullptr;
    reply->deleteLater();
}

Conclusion

Thus, we have an application that can download the required file for a given URL and place it in the target directory.

Link to download the project Downloader

We recommend hosting TIMEWEB
We recommend hosting TIMEWEB
Stable hosting, on which the social network EVILEG is located. For projects on Django we recommend VDS hosting.
Support the author Donate
f

не могу понять как обработать ошибку некорректной ссылки?
Пример: "ftp://cddis.gsfc.nasa.gov/pub/slr/data/npt_crd/gracea/2010/gracea_20100101.npt.Z"

У вас скорее всего ошибка превышения интервала ожидания - QNetworkReply::TimeoutError

Гляньте вот эту статью про описание ошибок QNetworkAccessManager
Там в конце статьи есть пример обработки ошибок с выводом в qDebug()
f
  • #
  • June 6, 2018, 11:42 a.m.

у меня никак не получается обработать ошибку некорректной ссылки(

    connect(&m_downloader.manager, &QNetworkAccessManager::finished, this, &Widget::onResult);
    connect(m_downloader.currentReply, static_cast<void (QNetworkReply::*)(QNetworkReply::NetworkError)>(&QNetworkReply::error), this, &Widget::errorSlot);
R

Здравствуйте. В вашем примере не обновляется прогресс-бар. А если точнее - он выставляет 100% после закачки, и всё. Во время самой закачки просто 0%. Сомневаюсь что так задумано, но всё же, как сделать чтобы обновлялся каждый кусок?

Какого размера пробуете скчивать файлы и на какой скорости у вас работает интернет.
Есть ещё один неприятный момент в том, что не на всех платформах правильно передаётся информация о прогрессе закачки.
Так что какую используете операционную систему?

А почему вы не сделаете обработку ошибок в слоте onResult.

Кстати, по поводу кастов перегруженных сигналов и слотов. Посмотрите на использование Overload шаблона , ппроще писать перегруженные сигнал/слотовые соединения будет.
R

Проблема была в ресурсе, с которого скачиваю. Пытался тянуть с google disc - а там ограничение 25мб на прямые ссылки. Поэтому он и втупал.


Можете подсказать какие-нибудь ресурсы, на которых есть возможность обновлять файл (контроль версий), и при этом ссылка на него останется та же. Ну и без ограничений как у гугла, буду очень благодарен.

ну.. хз.. Github может быть, там вам и контроль версии и всё остальное, вроде и ссылки на метки прямые.

Ну или поднимите свой онлайн ресурс ))
Если честно, понятия не имею, не было такой необходимости, а если и была, то объодился ресурсами своего сайта.
M
  • #
  • Sept. 20, 2019, 10:25 a.m.

вызываю метод get у m_downloader в другом методе и приложение начинает вылетать. В чем ошибка?

Это дебажить нужно, может быть что угодно.

v

Здпавствуйте Евгений.
Прошу совета, вот из-за этой строчки кода:
connect(&m_manager, &QNetworkAccessManager::finished, this, &Downloader::onReply);

Выдает такую ошибку: D:\Qt\5.10.1\mingw53_32\include\QtCore\qglobal.h:762: ошибка: static assertion failed: Signal and slot arguments are not compatible.
#define Q_STATIC_ASSERT_X(Condition, Message) static_assert(bool(Condition), Message)
Что это может быть?

Добрый день.
Вы полностью скопировали тот код? Или самостоятельно писали свой вариант, посматривая в эту статью?

Выглядит так, что у вас несовместимый сигнал со слотом.

Покажите сигнатуру метода Downloader::onReply

v

Писал свой вариант, вот сигнатура метода Downloader::onReply:

void onReply(QNetworkReply& reply);

void Downloader::onReply(QNetworkReply &reply)
{
    if(reply.error() == QNetworkReply::NoError){
        m_file->flush();
        m_file->close();
    }
    else{
        m_file->remove();
    }

    delete m_file;
    m_file = nullptr;
    reply.deleteLater();
}
v

Точнее будет сказать что я набивал руками Ваш код)))

Понятно )) Вы допустили ошибку.

Вот ваша строчка

void Downloader::onReply(QNetworkReply &reply)

Вот моя строчка

void Downloader::onReply(QNetworkReply *reply)

В вашем случае используется ссылка, а в моём случае указатель. Это разные вещи.

Используйте, пожалуйста, диалог вставки программного кода. Это кнопка с символом <> в редакторе.
Дело в том, что в редакторе комментариев используется markdown синтаксис, поэтому нужна специальная разметка кода. Диалог добавляет её автоматически.

v

))) Спасибо Евгений! Впреть буду внимательнее)))

m

Дня доброго.
Прочитал ваш урок. Вроде все понял. Но взялся реализовывать этот принцип в своем проекте(загрузка файлов на фтп) и уперся что не могу понять как реализовать progressbar.
вот код:

void MainWindow::copyToFtp(QString Fname)
{
    ui->progressBar->show();
    fFileFTP =new QFile (Fname);
    QFileInfo fileInfoFTP(fFileFTP->fileName());
    QUrl url("ftp://ftp.ihostfull.com/htdocs/"+fileInfoFTP.completeBaseName()+"."+fileInfoFTP.suffix());
    url.setPort(21);
    url.setPassword("------");
    url.setUserName("-------");
    fFileFTP->open(QIODevice::ReadOnly);
    QNetworkAccessManager manager(0);
    QNetworkReply *reply = manager.put(QNetworkRequest(url),fFileFTP);
    QEventLoop loop;
    QObject::connect(reply,SIGNAL(finished()),&loop,SLOT(quit()));
    loop.exec();
    fFileFTP->close();
}

Как сюда интегрировать progressBar?
Сделайте поправку что новичек в програмированнии.

Реализуйте сначала правильно закачку по ftp. А потом уже внедряйте прогресс бар.

Ошибки, которые сразу бросаются в глаза

  • QNetworkAccessManager manager(0); - объявлено локально внутри метода, в моём примере на тсеке класса. Конечно правильно, что вы петлёй тормозите выход из метода, но при этом полностью уничтожаете преимущество ассинхронности QNetworkAccessManager
  • QObject::connect(reply,SIGNAL(finished()),&loop,SLOT(quit())); - Использование устревшего синтаксиса сигналов и слотов. В этой статье используется новый синтаксис.

Вообще ваш код сам по себе работает? Если работает, то сначала реализуйте как в статье, чтобы без QEventLoop было. Поскольку этой петлёй вы морозите GUI, скорее всего поэтому ничего и не работает.

m

Код сам по себе работает. Файлы на фтп грузяться.

QEventLoop скорее всего морозит GUI, поскольку тормозит выполнение всего остального программного кода в приложении, ожидая выполнения работы QNetworkAccessManager. Вам нужно переписать так, как показано в примере. Тем более, что QNetworkAccessManager может выполнять несколько запросов одновременно и асинхронно. Нет нужды создавать объект QNetworkAccessManager в каждом слоте. Тем более, что более одного при таком подходе вы не создадите. GUI просто не будет реагировать на событие мыши, пока не выполнится загрузка.

Comments

Only authorized users can post comments.
Please, Log in or Sign up
Donate

Hello, Dear Users of EVILEG!!!

If the site helped you, then support the development of the site financially, please.

You can do it by following ways:

Thank you, Evgenii Legotckoi

p
Feb. 17, 2020, 1:41 p.m.
pstMem

C++ - Тест 003. Условия и циклы

  • Result:85points,
  • Rating points6
z
Feb. 17, 2020, 5:02 a.m.
zet

C++ - Test 006. Enumerations

  • Result:80points,
  • Rating points4
z
Feb. 17, 2020, 4:49 a.m.
zet

C++ - Test 001. The first program and data types

  • Result:80points,
  • Rating points4
Last comments
Feb. 17, 2020, 2:22 a.m.
Evgenij Legotskoj

Добрый день. Это кастомный тег, помещается в файл, который находится в каталоге templatetags myapp/ templatetags/ myapp.py
B
Feb. 16, 2020, 12:36 p.m.
BahaMeirman

Добрый вечер! Монжно по подробней о теге get_companion? ссылка не работает.
Feb. 16, 2020, 8:35 a.m.
Evgenij Legotskoj

Добрый день. На GitHub исходники, можете посмотреть в официальном репозитории
B
Feb. 16, 2020, 8:29 a.m.
BahaMeirman

Здравстсвуйте Евгений, непонятно мне где эти исходники найти?
Now discuss on the forum
Feb. 18, 2020, 2:16 p.m.
Mihailll

Нет, стоит minLevel=1 А что это значит? Поменял на 0, но ничего не изменилось. Файл настроек выглядит так [listener]; host=192.168.0.100port=8080minThreads=4maxThreads=100…
Feb. 18, 2020, 6:19 a.m.
Pavel.K

Привет , кто -нибудь подскажет как реализовать перетаскивание обьектов из листвью , и как это вообще делается ? Суть в том ,чтобы при объекта из листвью модели ,знать что за обьект. В…
V
Feb. 17, 2020, 2:11 p.m.
Vitali

Добрый день. Сейчас инициализация моего приложение выглядит приблизительно так: sys_argv = sys.argvsys_argv += ['--style', 'material']app = QGuiApplication(sys_argv)app.setWindowIcon…
Feb. 16, 2020, 1:13 p.m.
BlinCT

Всем привет. есть те кто сталкивался с данной прогой? Нужна наводка просто как правильно из кучи инфы что содержит файл trace.dat и скармливается kernelshark вытащить причину долгого с…
IP
Feb. 16, 2020, 10:35 a.m.
Igor' Poroshin

#include <QSqlError>#include <QSqlQuery>...if (!model->select()) { qDebug() << model->lastError().text(); qDebug() << model->query().lastQue…
EVILEG
About
Services
© EVILEG 2015-2019
Recommend hosting TIMEWEB