QWebPage получить html

QWebPage, QtWebEngineWidgets, QWebEnginePage::toHtml(), QWebEnginePage, QWebEngin, webenginewidgets, QWebPage получить html

Рекомендуємо хостинг TIMEWEB

Стабільний хостинг, на якому розміщується соціальна мережа EVILEG. Для проектів на Django радимо VDS хостинг.

Уже дошло) Оставлю здесь код для следующего поколения новичков) Вместо toHtml() можно вставить toPlainText и получить текст web страницы

QWebEngineProfile *m_profile = new QWebEngineProfile;
m_profile->setDownloadPath("my dir");
QWebEnginePage *page = new QWebEnginePage(m_profile);

page->settings()->setAttribute(QWebEngineSettings::AutoLoadImages, false);
page->settings()->setAttribute(QWebEngineSettings::JavascriptEnabled, true);

QEventLoop *event = new QEventLoop;
connect(page, &QWebEnginePage::loadFinished, event, &QEventLoop::quit);

page->load(QUrl("my url"));

event->exec();

page->toPlainText([this](const QString &result){
   qDebug()<<"html:";
   qDebug()<<result.size();
   ui->textBrowser->append(result);
   });

Добрый день. Ещё можно использовать просто QNetworkAccessManager, а то использование QWebEngine для получения html текста страницы с сайта может быть просто стрельбой из пушки по воробьям.

В этой статье есть пример получения JSON файла , но для обычной страницы разницы особой нет.

Нужно получить страницу, на кт после выполнения java скрипта открывается дополнительный контент. С помощью QNetworkRequest можно получить только страницу, а доп. контент нельзя. Сейчас пытаюсь это сделать с помощью QWebEnginePage::runJavaScript(). Правильная же концепция? Вот код:

QEventLoop *event = new QEventLoop;
connect(page, &QWebEnginePage::loadFinished, event, &QEventLoop::quit);

page->load(QUrl("my url"));

event->exec();

page->runJavaScript("document.getElementsByTagName(\"script\")[i]");

Тогда согласен.

Да, концепция правильная. Нужно только поизвращаться с сигналами и слотами. Там всё это асинхронно работает и поэтому достаточно по дурацки.

У меня была подобная задача. Добавлял WebView в диалог и уже в диалоге всё обрабатывал.

Принцип следующий.

В конструкторе диалога добавляем следующее

m_webView = new QWebEngineView(this);
ui->centralWidgetLayout->addWidget(m_webView);
connect(m_webView, &QWebEngineView::loadFinished, this, &Dialog::onLoadFinished);
connect(this, &Dialog::getHtml, this, &Dialog::handleHTML);

Далее пишем слот onLoadFinished, который выплёвывает сигнал getHtml

void Dialog::onLoadFinished()
{
    m_webView->page()->toHtml([this](const QString& result) mutable { emit getHtml(result); });
}

И потом уже в handleHTML делаем обработку.

void WizardMapWebDialog::handleHTML(QString html)
{
    // ToDo something with html
}

Заголовочник будет следующий

class Dialog : public QDialog
{
    Q_OBJECT
public:
    explicit Dialog(QWidget* parent = nullptr);

    virtual ~Dialog() override;

signals:
    void getHtml(QString html);

private slots:
    void onLoadFinished();
    void handleHTML(QString html);

private:
    Ui::Dialog* ui;
    QWebEngineView* m_webView;
};

JavaScript можно вызвать с применением callback функции, чтобы ещё и результат сразу полчить из функции

    m_webView->page()->runJavaScript("checkMap()", [this](const QVariant& v)
    {
        if (v.toString() == "true")
        {
            m_webView->page()->runJavaScript("takeValues();");
        }
        else
        {
            gui::DMessageBox::showError(this, tr("The mark point is outside the map.<br>Please select a location on the map"));
        }
    });

В примере с запуском JavaScript вызывались функции, которые уже есть на странице сайта, так что если там подключена jQuery, то думаю, что сможете её функционал использовать.

Другого способа, как получать перезагруженный контент через JavaScript на странице, я не знаю. Любые другие способы у меня не работали. Только таким образом сработало.

Спасибо) А можно получить скрипты сайта таким образом?

    QWebEngineProfile *m_profile = new QWebEngineProfile;
    QWebEnginePage *page = new QWebEnginePage(m_profile);
    QList<QWebEngineScript> lsc;
    qDebug() << page->scripts().toList().isEmpty();
    lsc = page->scripts().toList();
    qDebug() << lsc;

Что делать с проблемой, когда скрипты сайта подгружаются по http и Qt ругается так:

js: Mixed Content: The page at was loaded over HTTPS, but requested an insecure script . This request has been blocked; the content must be served over HTTPS.
js: Mixed Content: The page at was loaded over a secure connection, but contains a form that targets an insecure endpoint . This endpoint should be made available over a secure connection.

Я пытался получить html по http и в профайле прописал: -no-openssl, но не помогло.

Не уверен. я бы попробовал выдернуть ссылки и забрать всё через QNetworkAccessManager, если вам не нужно запускать эти скрипты.
Я с той ошибкой не сталкивался.

Нашел фикс той ошибки:
ui->vebEngineView->settings()->setAttribute(QWebEngineSettings::AllowRunningInsecureContent, true);

Другого способа, как получать перезагруженный контент через JavaScript на странице, я не знаю.

Получилось сделать без QWebEngineView, с помощью QWebEnginePage, runJavaScript работает ассинхронно и надо дождаться пока скрипт выполнится, я установил таймер. В итоге в textBrowser выводился html, измененный скриптом.

QWebEnginePage *page1 = new QWebEnginePage;

    page1->settings()->setAttribute(QWebEngineSettings::AutoLoadImages, false);
    page1->settings()->setAttribute(QWebEngineSettings::JavascriptEnabled, true);
    page1->settings()->setAttribute(QWebEngineSettings::AllowRunningInsecureContent, true);

    QEventLoop *event = new QEventLoop;
    connect(page1, &QWebEnginePage::loadFinished, event, &QEventLoop::quit);

    page1->load(QUrl("https://..."));

    event->exec();


    page1->toHtml([this](const QString &result){
       ui->textBrowser_2->append(result);
       });

    page1->runJavaScript("javascript:__doPostBack('...')");

    qDebug() << "run!";

    QEventLoop *event1 = new QEventLoop;
    QTimer *timer = new QTimer();  
    connect(timer, &QTimer::timeout, event1, &QEventLoop::quit);
    timer->start(10000);
    event1->exec();


    page1->toHtml([this](const QString &result){
       ui->textBrowser->append(result);
       });