Evgenii Legotckoi
Evgenii Legotckoi25 травня 2018 р. 12:08

Qt/C++ Підручник 080. Завантаження великих файлів за допомогою QNetworkAccessManager

Після виникнення питання на форумі про завантаження великих файлів за допомогою бібліотеки Qt, я підняв деякі свої проекти і підготував докладніший мануал з використанням такого функціоналу. Тим більше, що проблема зі скачуванням файлів була пов'язана з редиректами. За замовчуванням QNetworkAccessManager не переходить по редиректам для завантаження файлів та отримання сторінок, тому в запиті потрібно встановити відповідний атрибут, тоді все запрацює, але розглянемо все докладніше.

Додаток матиме наступний функціонал.

  • QLineEdit для введення цільового URL для скачування
  • QLineEdit для введення цільового каталогу для завантаження в режимі readOnly. Заповнювати його за допомогою QFileDialog.
  • QProgressBar, який буде показувати прогрес завантаження
  • Кнопку для скасування завантаження

Виглядати наш Downloader буде так


Структура проекту

Проект складається з

  • FileDownloader.pro - профайл проекту
  • Downloader.h - Заголовний файл класу для скачування файлів
  • Downloader.cpp - Файл реалізації класу для скачування файлів
  • Widget.h - заголовний файл вікна програми
  • Widget.cpp - Файл реалізації вікна програми
  • Widget.ui - Графічна форма вікна програми
  • main.cpp - Файл з головною функцією програми

FileDownloader.pro, main.cpp, Widget.ui не розглядатиметься, перші два створюються за замовчуванням, останній створюється через графічний редактор Qt Designer, подивіться його в самому проекті, який прикріплений до статті в самому кінці.

Widget.h

У заголовному файлі оголошені всі необхідні слоти для обробки кнопок інтерфейсу а також оголошений в стеку сам клас для скачування файлів

#ifndef WIDGET_H
#define WIDGET_H

#include "Downloader.h"

#include <QWidget>

namespace Ui {
class Widget;
}

class Widget : public QWidget
{
    Q_OBJECT

public:
    explicit Widget(QWidget *parent = nullptr);
    ~Widget();

private slots:
    // Слот для старта загрузки
    void onDownloadButtonClicked();

    // Слот для выбора каталога для скачивания
    void onSelectTargetFolderButtonClicked();

    // Слот для отмены загрузки
    void onCancelButtonClicked();

    // Слот для обновления прогресса загрузки
    void onUpdateProgress(qint64 bytesReceived, qint64 bytesTotal);

private:
    Ui::Widget *ui;
    Downloader m_downloader; // Класс для скачивания
};

#endif // WIDGET_H

Widget.cpp

#include "Widget.h"
#include "ui_Widget.h"

#include <QFileDialog>
#include <QStandardPaths>

Widget::Widget(QWidget *parent) :
    QWidget(parent),
    ui(new Ui::Widget)
{
    ui->setupUi(this);
    // Подключаемся к слотам
    connect(ui->downloadPushButton, &QPushButton::clicked, this, &Widget::onDownloadButtonClicked);
    connect(ui->selectTargetFolderPushButton, &QPushButton::clicked, this, &Widget::onSelectTargetFolderButtonClicked);
    connect(ui->cancelPushButton, &QPushButton::clicked, this, &Widget::onCancelButtonClicked);
    connect(&m_downloader, &Downloader::updateDownloadProgress, this, &Widget::onUpdateProgress);
}

Widget::~Widget()
{
    delete ui;
}

void Widget::onDownloadButtonClicked()
{
    // Запускаем скачивание файла передавая в качестве аргументов
    // путь к каталогу, куда будем закачивать файлы
    // url, где находится файл
    m_downloader.get(ui->targetFolderLineEdit->text(), ui->urlLineEdit->text());
}

void Widget::onSelectTargetFolderButtonClicked()
{
    // Выбор целевого каталога для скачивания
    QString targetFolder = QFileDialog::getExistingDirectory(this,
                                                             tr("Select folder"),
                                                             QStandardPaths::writableLocation(QStandardPaths::DownloadLocation),
                                                             QFileDialog::ShowDirsOnly | QFileDialog::DontResolveSymlinks);
    ui->targetFolderLineEdit->setText(targetFolder);
}

void Widget::onCancelButtonClicked()
{
    // Отмена загрузки
    m_downloader.cancelDownload();
    ui->downloadProgressBar->setMaximum(100);
    ui->downloadProgressBar->setValue(0);
}

void Widget::onUpdateProgress(qint64 bytesReceived, qint64 bytesTotal)
{
    // Обновляем прогресс загрузки
    ui->downloadProgressBar->setMaximum(bytesTotal);
    ui->downloadProgressBar->setValue(bytesReceived);
}

Downloader.h

А тепер подивимося на клас для завантаження файлів з урахуванням перевірки прогресу завантаження.

Важливим моментом є те, що файли великого розміру потрібно обробляти поступово, вони не можуть вважатися одним запитом. Тому потрібно обробляти сигнал QNetworkReply::readyRead від об'єкта поточної відповіді на запит. Цей сигнал випускається тоді, коли в буфері містяться дані, які ми можемо рахувати.

І лише після завершення завантаження QNetworkAccessManager випустить сигнал finished , за яким буде закрито файл і завершено з'єднання з видаленням об'єкта поточної відповіді на запит.

#ifndef DOWNLOADER_H
#define DOWNLOADER_H

#include <QNetworkAccessManager>

class QNetworkReply;
class QFile;

class Downloader : public QObject
{
    Q_OBJECT
    using BaseClass = QObject;

public:
    explicit Downloader(QObject* parent = nullptr);

    // Метод для запуска скачиввания
    bool get(const QString& targetFolder, const QUrl& url);

public slots:
    // Метод отмены загрузки
    void cancelDownload();

signals:
    // Сигнал передающий информацию о прогрессе загрузки
    void updateDownloadProgress(qint64 bytesReceived, qint64 bytesTotal);

private slots:
    // Слот для постепенного считывания загружаемых данных
    void onReadyRead();
    // Слот для обработки завершения запроса
    void onReply(QNetworkReply* reply);

private:
    QNetworkReply* m_currentReply {nullptr};    // Текущий обрабатываемый запрос
    QFile* m_file                 {nullptr};    // Текущий файл в который идёт запись
    QNetworkAccessManager m_manager;            // Сетевой менеджер для загрузки файлов
};

#endif // DOWNLOADER_H

Downloader.cpp

#include "Downloader.h"

#include <QNetworkReply>
#include <QNetworkRequest>
#include <QFile>
#include <QDir>

Downloader::Downloader(QObject* parent) :
    BaseClass(parent)
{
    // Подключаемся к сигналу finished
    connect(&m_manager, &QNetworkAccessManager::finished, this, &Downloader::onReply);
}

bool Downloader::get(const QString& targetFolder, const QUrl& url)
{
    if (targetFolder.isEmpty() || url.isEmpty())
    {
        return false;
    }

    // Cоздаём объект класса файла для скачивания
    // здесь имеется целевая директория и имя файла, которое выделяется из URL
    m_file = new QFile(targetFolder + QDir::separator() + url.fileName());
    // Пробуем открыть файл
    if (!m_file->open(QIODevice::WriteOnly))
    {
        delete m_file;
        m_file = nullptr;
        return false;
    }

    // Создаём запрос
    QNetworkRequest request(url);
    // Обязательно разрешаем переходить по редиректам
    request.setAttribute(QNetworkRequest::FollowRedirectsAttribute, true);
    // Запускаем скачивание
    m_currentReply = m_manager.get(request);

    // После чего сразу подключаемся к сигналам о готовности данных к чтению и обновлению прогресса скачивания
    connect(m_currentReply, &QNetworkReply::readyRead, this, &Downloader::onReadyRead);
    connect(m_currentReply, &QNetworkReply::downloadProgress, this, &Downloader::updateDownloadProgress);
    return true;
}

void Downloader::onReadyRead()
{
    // Если есть данные и файл открыт
    if (m_file)
    {
        // записываем их в файл
        m_file->write(m_currentReply->readAll());
    }
}

void Downloader::cancelDownload()
{
    // Отмена запроса
    if (m_currentReply)
    {
        m_currentReply->abort();
    }
}

void Downloader::onReply(QNetworkReply* reply)
{
    // По завершению запроса
    if (reply->error() == QNetworkReply::NoError)
    {
        // сохраням файл
        m_file->flush();
        m_file->close();
    }
    else
    {
        // Или удаляем его в случае ошибки
        m_file->remove();
    }

    delete m_file;
    m_file = nullptr;
    reply->deleteLater();
}

Висновок

Таким чином маємо програму, яка за заданим URL може завантажити необхідний файл і помістити його в цільовий каталог.

Посилання на завантаження проекту Downloader

Рекомендуємо хостинг TIMEWEB
Рекомендуємо хостинг TIMEWEB
Стабільний хостинг, на якому розміщується соціальна мережа EVILEG. Для проектів на Django радимо VDS хостинг.

Вам це подобається? Поділіться в соціальних мережах!

f
  • 01 червня 2018 р. 02:08

не могу понять как обработать ошибку некорректной ссылки?
Пример: "ftp://cddis.gsfc.nasa.gov/pub/slr/data/npt_crd/gracea/2010/gracea_20100101.npt.Z"

Evgenii Legotckoi
  • 01 червня 2018 р. 20:59

У вас скорее всего ошибка превышения интервала ожидания - QNetworkReply::TimeoutError

Гляньте вот эту статью про описание ошибок QNetworkAccessManager
Там в конце статьи есть пример обработки ошибок с выводом в qDebug()
f
  • 06 червня 2018 р. 22:42

у меня никак не получается обработать ошибку некорректной ссылки(

    connect(&m_downloader.manager, &QNetworkAccessManager::finished, this, &Widget::onResult);
    connect(m_downloader.currentReply, static_cast<void (QNetworkReply::*)(QNetworkReply::NetworkError)>(&QNetworkReply::error), this, &Widget::errorSlot);
R
  • 07 червня 2018 р. 10:21

Здравствуйте. В вашем примере не обновляется прогресс-бар. А если точнее - он выставляет 100% после закачки, и всё. Во время самой закачки просто 0%. Сомневаюсь что так задумано, но всё же, как сделать чтобы обновлялся каждый кусок?

Evgenii Legotckoi
  • 07 червня 2018 р. 12:44

Какого размера пробуете скчивать файлы и на какой скорости у вас работает интернет.
Есть ещё один неприятный момент в том, что не на всех платформах правильно передаётся информация о прогрессе закачки.
Так что какую используете операционную систему?

Evgenii Legotckoi
  • 07 червня 2018 р. 12:46

А почему вы не сделаете обработку ошибок в слоте onResult.

Кстати, по поводу кастов перегруженных сигналов и слотов. Посмотрите на использование Overload шаблона , ппроще писать перегруженные сигнал/слотовые соединения будет.
R
  • 07 червня 2018 р. 13:28

Проблема была в ресурсе, с которого скачиваю. Пытался тянуть с google disc - а там ограничение 25мб на прямые ссылки. Поэтому он и втупал.


Можете подсказать какие-нибудь ресурсы, на которых есть возможность обновлять файл (контроль версий), и при этом ссылка на него останется та же. Ну и без ограничений как у гугла, буду очень благодарен.
Evgenii Legotckoi
  • 07 червня 2018 р. 13:32

ну.. хз.. Github может быть, там вам и контроль версии и всё остальное, вроде и ссылки на метки прямые.

Ну или поднимите свой онлайн ресурс ))
Если честно, понятия не имею, не было такой необходимости, а если и была, то объодился ресурсами своего сайта.
F
  • 20 вересня 2019 р. 21:25

вызываю метод get у m_downloader в другом методе и приложение начинает вылетать. В чем ошибка?

Evgenii Legotckoi
  • 25 вересня 2019 р. 13:52

Это дебажить нужно, может быть что угодно.

v
  • 29 жовтня 2019 р. 19:40

Здпавствуйте Евгений.
Прошу совета, вот из-за этой строчки кода:
connect(&m_manager, &QNetworkAccessManager::finished, this, &Downloader::onReply);

Выдает такую ошибку: D:\Qt\5.10.1\mingw53_32\include\QtCore\qglobal.h:762: ошибка: static assertion failed: Signal and slot arguments are not compatible.
#define Q_STATIC_ASSERT_X(Condition, Message) static_assert(bool(Condition), Message)
Что это может быть?

Evgenii Legotckoi
  • 29 жовтня 2019 р. 19:51

Добрый день.
Вы полностью скопировали тот код? Или самостоятельно писали свой вариант, посматривая в эту статью?

Выглядит так, что у вас несовместимый сигнал со слотом.

Покажите сигнатуру метода Downloader::onReply

v
  • 29 жовтня 2019 р. 19:56
  • (відредаговано)

Писал свой вариант, вот сигнатура метода Downloader::onReply:

void onReply(QNetworkReply& reply);

void Downloader::onReply(QNetworkReply &reply)
{
    if(reply.error() == QNetworkReply::NoError){
        m_file->flush();
        m_file->close();
    }
    else{
        m_file->remove();
    }

    delete m_file;
    m_file = nullptr;
    reply.deleteLater();
}
v
  • 29 жовтня 2019 р. 19:57

Точнее будет сказать что я набивал руками Ваш код)))

Evgenii Legotckoi
  • 29 жовтня 2019 р. 20:02
  • (відредаговано)

Понятно )) Вы допустили ошибку.

Вот ваша строчка

void Downloader::onReply(QNetworkReply &reply)

Вот моя строчка

void Downloader::onReply(QNetworkReply *reply)

В вашем случае используется ссылка, а в моём случае указатель. Это разные вещи.

Используйте, пожалуйста, диалог вставки программного кода. Это кнопка с символом <> в редакторе.
Дело в том, что в редакторе комментариев используется markdown синтаксис, поэтому нужна специальная разметка кода. Диалог добавляет её автоматически.

v
  • 29 жовтня 2019 р. 20:08

))) Спасибо Евгений! Впреть буду внимательнее)))

m
  • 09 лютого 2020 р. 20:44

Дня доброго.
Прочитал ваш урок. Вроде все понял. Но взялся реализовывать этот принцип в своем проекте(загрузка файлов на фтп) и уперся что не могу понять как реализовать progressbar.
вот код:

void MainWindow::copyToFtp(QString Fname)
{
    ui->progressBar->show();
    fFileFTP =new QFile (Fname);
    QFileInfo fileInfoFTP(fFileFTP->fileName());
    QUrl url("ftp://ftp.ihostfull.com/htdocs/"+fileInfoFTP.completeBaseName()+"."+fileInfoFTP.suffix());
    url.setPort(21);
    url.setPassword("------");
    url.setUserName("-------");
    fFileFTP->open(QIODevice::ReadOnly);
    QNetworkAccessManager manager(0);
    QNetworkReply *reply = manager.put(QNetworkRequest(url),fFileFTP);
    QEventLoop loop;
    QObject::connect(reply,SIGNAL(finished()),&loop,SLOT(quit()));
    loop.exec();
    fFileFTP->close();
}

Как сюда интегрировать progressBar?
Сделайте поправку что новичек в програмированнии.

Evgenii Legotckoi
  • 10 лютого 2020 р. 14:02

Реализуйте сначала правильно закачку по ftp. А потом уже внедряйте прогресс бар.

Ошибки, которые сразу бросаются в глаза

  • QNetworkAccessManager manager(0); - объявлено локально внутри метода, в моём примере на тсеке класса. Конечно правильно, что вы петлёй тормозите выход из метода, но при этом полностью уничтожаете преимущество ассинхронности QNetworkAccessManager
  • QObject::connect(reply,SIGNAL(finished()),&loop,SLOT(quit())); - Использование устревшего синтаксиса сигналов и слотов. В этой статье используется новый синтаксис.

Вообще ваш код сам по себе работает? Если работает, то сначала реализуйте как в статье, чтобы без QEventLoop было. Поскольку этой петлёй вы морозите GUI, скорее всего поэтому ничего и не работает.

m
  • 10 лютого 2020 р. 14:06

Код сам по себе работает. Файлы на фтп грузяться.

Evgenii Legotckoi
  • 10 лютого 2020 р. 14:15
  • (відредаговано)

QEventLoop скорее всего морозит GUI, поскольку тормозит выполнение всего остального программного кода в приложении, ожидая выполнения работы QNetworkAccessManager. Вам нужно переписать так, как показано в примере. Тем более, что QNetworkAccessManager может выполнять несколько запросов одновременно и асинхронно. Нет нужды создавать объект QNetworkAccessManager в каждом слоте. Тем более, что более одного при таком подходе вы не создадите. GUI просто не будет реагировать на событие мыши, пока не выполнится загрузка.

Коментарі

Only authorized users can post comments.
Please, Log in or Sign up
МВ

Qt - Тест 001. Сигналы и слоты

  • Результат:68бали,
  • Рейтинг балів-1
ЛС

C++ - Тест 001. Первая программа и типы данных

  • Результат:53бали,
  • Рейтинг балів-4
АА

C++ - Тест 001. Первая программа и типы данных

  • Результат:60бали,
  • Рейтинг балів-1
Останні коментарі
ИМ
Игорь Максимов05 жовтня 2024 р. 07:51
Django - Урок 064. Як написати розширення для Python Markdown Приветствую Евгений! У меня вопрос. Можно ли вставлять свои классы в разметку редактора markdown? Допустим имея стандартную разметку: <ul> <li></li> <li></l…
d
dblas505 липня 2024 р. 11:02
QML - Урок 016. База даних SQLite та робота з нею в QML Qt Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
k
kmssr08 лютого 2024 р. 18:43
Qt Linux - Урок 001. Автозапуск програми Qt під Linux как сделать автозапуск для флэтпака, который не даёт создавать файлы в ~/.config - вот это вопрос ))
АК
Анатолий Кононенко05 лютого 2024 р. 01:50
Qt WinAPI - Урок 007. Робота з ICMP Ping в Qt Без строки #include <QRegularExpressionValidator> в заголовочном файле не работает валидатор.
EVA
EVA25 грудня 2023 р. 10:30
Boost - статичне зв&#39;язування в проекті CMake під Windows Ошибка LNK1104 часто возникает, когда компоновщик не может найти или открыть файл библиотеки. В вашем случае, это файл libboost_locale-vc142-mt-gd-x64-1_74.lib из библиотеки Boost для C+…
Тепер обговоріть на форумі
MM
MichaelsusixQY MichaelsusixQY07 жовтня 2024 р. 17:57
добавить qlineseries в функции Creating a healthier and healthier atmosphere is crucial for factories and factories. High-pressure washing can help remove contaminants, dust, and impurities that gather on floors, making sure …
ИМ
Игорь Максимов03 жовтня 2024 р. 04:05
Реализация навигации по разделам Спасибо Евгений!
JW
Jhon Wick01 жовтня 2024 р. 15:52
Indian Food Restaurant In Columbus OH| Layla’s Kitchen Indian Restaurant If you're looking for a truly authentic https://www.laylaskitchenrestaurantohio.com/ , Layla’s Kitchen Indian Restaurant is your go-to destination. Located at 6152 Cleveland Ave, Colu…
КГ
Кирилл Гусарев27 вересня 2024 р. 09:09
Не запускается программа на Qt: точка входа в процедуру не найдена в библиотеке DLL Написал программу на C++ Qt в Qt Creator, сбилдил Release с помощью MinGW 64-bit, бинарнику напихал dll-ки с помощью windeployqt.exe. При попытке запуска моей сбилженной программы выдаёт три оши…
F
Fynjy22 липня 2024 р. 04:15
при создании qml проекта Kits есть но недоступны для выбора Поставил Qt Creator 11.0.2. Qt 6.4.3 При создании проекта Qml не могу выбрать Kits, они все недоступны, хотя настроены и при создании обычного Qt Widget приложения их можно выбрать. В чем может …

Слідкуйте за нами в соціальних мережах