KL
Konstantin Lazarev21 лютого 2017 р. 12:32
QNetworkAccessManager Как отследить страницу закрытую от парсинга и страницу с кодом 404
Добрый вечер, при парсинге страниц попадаешь на сайты с защитными Api, как отличить сайт закрытый от парсинга от страниц которых не существует?
Рекомендуємо хостинг TIMEWEB
Стабільний хостинг, на якому розміщується соціальна мережа EVILEG. Для проектів на Django радимо VDS хостинг.Вам це подобається? Поділіться в соціальних мережах!
AD
- Akiv Doros
- 12 листопада 2024 р. 01:58
C++ - Тест 004. Указатели, Массивы и Циклы
- Результат:50бали,
- Рейтинг балів-4
m
- molni99
- 26 жовтня 2024 р. 11:37
C++ - Тест 004. Указатели, Массивы и Циклы
- Результат:80бали,
- Рейтинг балів4
m
- molni99
- 26 жовтня 2024 р. 11:29
C++ - Тест 004. Указатели, Массивы и Циклы
- Результат:20бали,
- Рейтинг балів-10
Останні коментарі
ИМ
Django - Підручник 017. Налаштуйте сторінку входу до Django Добрый вечер Евгений! Я сделал себе авторизацию аналогичную вашей, все работает, кроме возврата к предидущей странице. Редеректит всегда на главную, хотя в логах сервера вижу запросы на правильн…
Игорь Максимов22 листопада 2024 р. 22:51
Evgenii Legotckoi01 листопада 2024 р. 00:37
Читалка файлів fb3 на Qt Creator Подскажите как это запустить? Я не шарю в программировании и кодинге. Скачал и установаил Qt, но куча ошибок выдается и не запустить. А очень надо fb3 переконвертировать в html
ИМ
Django - Урок 064. Як написати розширення для Python Markdown Приветствую Евгений! У меня вопрос. Можно ли вставлять свои классы в разметку редактора markdown? Допустим имея стандартную разметку: <ul> <li></li> <li></l…
Игорь Максимов05 жовтня 2024 р. 17:51
QML - Урок 016. База даних SQLite та робота з нею в QML Qt Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
Тепер обговоріть на форумі
Evgenii Legotckoi25 червня 2024 р. 01:11
t
google domain [url=https://google.com/]domain[/url] domain [http://www.example.com link title]
tonypeachey115 листопада 2024 р. 17:04
NSProject04 червня 2022 р. 13:49
IscanderChe01 листопада 2024 р. 01:43
Машина тьюринга // Начальное состояние 0 0, ,<,1 // Переход в состояние 1 при пустом символе 0,0,>,0 // Остаемся в состоянии 0, двигаясь вправо при встрече 0 0,1,>…
Если говорить об ошибках, которые возвращает сервер, то их можно проверить через получаемые ошибки в методе QNetworkReply::error() , данный метод возвращает код ошибки. Если искать ошибку 404, то эта ошибка будет аналогична коду ошибки 203 в QNetworkReply , то есть QNetworkReply::ContentNotFoundError .
А дальше уже искать различные другие признаки того, что страница всё же скачивается. Возможно, попытаться прочитать содержимое ответа. Если есть какое-нибудь содержимое, то можно считать, что страница закрыта от парсинга, хотя я не уверен в этом решении. Это только предположение, нужно проверять как будет вести себя сам QNetworkReply и QNetworkAccessManager .
Как прекратить загрузку файла после его закачки на 5-7 %. Это бы решило вопрос пинга страницы.
У класса QNetworkReply есть метод abort() . Когда выполняете метод QNetworkAccessManager::get(const QNetworkRequest &request) он возвращает объект класса QNetworkReply. Сохраняете указатель на этот объект и если надо через его метод abort() прекращаете работу.