KL
Konstantin LazarevFeb. 21, 2017, 12:32 p.m.

QNetworkAccessManager Как отследить страницу закрытую от парсинга и страницу с кодом 404

Добрый вечер, при парсинге страниц попадаешь на сайты с защитными Api, как отличить сайт закрытый от парсинга от страниц которых не существует?

We recommend hosting TIMEWEB
We recommend hosting TIMEWEB
Stable hosting, on which the social network EVILEG is located. For projects on Django we recommend VDS hosting.

Do you like it? Share on social networks!

3
Evgenii Legotckoi
  • Feb. 22, 2017, 11:24 a.m.

Если говорить об ошибках, которые возвращает сервер, то их можно проверить через получаемые ошибки в методе QNetworkReply::error() , данный метод возвращает код ошибки. Если искать ошибку 404, то эта ошибка будет аналогична коду ошибки 203 в QNetworkReply , то есть QNetworkReply::ContentNotFoundError .

А дальше уже искать различные другие признаки того, что страница всё же скачивается. Возможно, попытаться прочитать содержимое ответа. Если есть какое-нибудь содержимое, то можно считать, что страница закрыта от парсинга, хотя я не уверен в этом решении. Это только предположение, нужно проверять как будет вести себя сам QNetworkReply и QNetworkAccessManager .

    KL
    • Feb. 25, 2017, 5:47 p.m.

    Как прекратить загрузку файла после его закачки на 5-7 %. Это бы решило вопрос пинга страницы.

      Evgenii Legotckoi
      • Feb. 26, 2017, 1:41 a.m.

      У класса QNetworkReply есть метод abort() . Когда выполняете метод QNetworkAccessManager::get(const QNetworkRequest &request) он возвращает объект класса QNetworkReply. Сохраняете указатель на этот объект и если надо через его метод abort() прекращаете работу.

        Comments

        Only authorized users can post comments.
        Please, Log in or Sign up
        AD

        C ++ - Test 004. Pointers, Arrays and Loops

        • Result:50points,
        • Rating points-4
        m

        C ++ - Test 004. Pointers, Arrays and Loops

        • Result:80points,
        • Rating points4
        m

        C ++ - Test 004. Pointers, Arrays and Loops

        • Result:20points,
        • Rating points-10
        Last comments
        ИМ
        Игорь МаксимовNov. 22, 2024, 11:51 a.m.
        Django - Tutorial 017. Customize the login page to Django Добрый вечер Евгений! Я сделал себе авторизацию аналогичную вашей, все работает, кроме возврата к предидущей странице. Редеректит всегда на главную, хотя в логах сервера вижу запросы на правильн…
        Evgenii Legotckoi
        Evgenii LegotckoiOct. 31, 2024, 2:37 p.m.
        Django - Lesson 064. How to write a Python Markdown extension Добрый день. Да, можно. Либо через такие же плагины, либо с постобработкой через python библиотеку Beautiful Soup
        A
        ALO1ZEOct. 19, 2024, 8:19 a.m.
        Fb3 file reader on Qt Creator Подскажите как это запустить? Я не шарю в программировании и кодинге. Скачал и установаил Qt, но куча ошибок выдается и не запустить. А очень надо fb3 переконвертировать в html
        ИМ
        Игорь МаксимовOct. 5, 2024, 7:51 a.m.
        Django - Lesson 064. How to write a Python Markdown extension Приветствую Евгений! У меня вопрос. Можно ли вставлять свои классы в разметку редактора markdown? Допустим имея стандартную разметку: <ul> <li></li> <li></l…
        d
        dblas5July 5, 2024, 11:02 a.m.
        QML - Lesson 016. SQLite database and the working with it in QML Qt Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
        Now discuss on the forum
        m
        moogoNov. 22, 2024, 7:17 a.m.
        Mosquito Spray System Effective Mosquito Systems for Backyard | Eco-Friendly Misting Control Device & Repellent Spray - Moogo ; Upgrade your backyard with our mosquito-repellent device! Our misters conce…
        Evgenii Legotckoi
        Evgenii LegotckoiJune 24, 2024, 3:11 p.m.
        добавить qlineseries в функции Я тут. Работы оень много. Отправил его в бан.
        t
        tonypeachey1Nov. 15, 2024, 6:04 a.m.
        google domain [url=https://google.com/]domain[/url] domain [http://www.example.com link title]
        NSProject
        NSProjectJune 4, 2022, 3:49 a.m.
        Всё ещё разбираюсь с кешем. В следствии прочтения данной статьи. Я принял для себя решение сделать кеширование свойств менеджера модели LikeDislike. И так как установка evileg_core для меня не была возможна, ибо он писался…

        Follow us in social networks