KL
Konstantin LazarevАқп. 21, 2017, 12:32 Т.Қ.
QNetworkAccessManager Как отследить страницу закрытую от парсинга и страницу с кодом 404
Добрый вечер, при парсинге страниц попадаешь на сайты с защитными Api, как отличить сайт закрытый от парсинга от страниц которых не существует?
Рекомендуем хостинг TIMEWEB
Стабильный хостинг, на котором располагается социальная сеть EVILEG. Для проектов на Django рекомендуем VDS хостинг.Ол саған ұнайды ма? Әлеуметтік желілерде бөлісіңіз!
Пікірлер
OI
- Ora Iro
- Жел. 24, 2024, 6:38 Т.Ж.
C++ - Тест 001. Первая программа и типы данных
- Нәтиже:40ұпай,
- Бағалау ұпайлары-8
AD
- Akiv Doros
- Қар. 11, 2024, 2:58 Т.Қ.
C++ - Тест 004. Указатели, Массивы и Циклы
- Нәтиже:50ұпай,
- Бағалау ұпайлары-4
m
- molni99
- Қаз. 26, 2024, 1:37 Т.Ж.
C++ - Тест 004. Указатели, Массивы и Циклы
- Нәтиже:80ұпай,
- Бағалау ұпайлары4
Соңғы пікірлер
ИМ
Django - Оқулық 017. Теңшелген Django кіру беті Добрый вечер Евгений! Я сделал себе авторизацию аналогичную вашей, все работает, кроме возврата к предидущей странице. Редеректит всегда на главную, хотя в логах сервера вижу запросы на правильн…
Игорь МаксимовҚар. 22, 2024, 11:51 Т.Ж.
Evgenii LegotckoiҚаз. 31, 2024, 2:37 Т.Қ.
Qt Creator көмегімен fb3 файл оқу құралы Подскажите как это запустить? Я не шарю в программировании и кодинге. Скачал и установаил Qt, но куча ошибок выдается и не запустить. А очень надо fb3 переконвертировать в html
ИМ
Django - Сабақ 064. Python Markdown кеңейтімін қалай жазуға болады Приветствую Евгений! У меня вопрос. Можно ли вставлять свои классы в разметку редактора markdown? Допустим имея стандартную разметку: <ul> <li></li> <li></l…
Игорь МаксимовҚаз. 5, 2024, 7:51 Т.Ж.
QML - Сабақ 016. SQLite деректер қоры және онымен QML Qt-та жұмыс істеу Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
Енді форумда талқылаңыз
Evgenii LegotckoiМаусым 24, 2024, 3:11 Т.Қ.
t
google domain [url=https://google.com/]domain[/url] domain [http://www.example.com link title]
tonypeachey1Қар. 15, 2024, 6:04 Т.Ж.
NSProjectМаусым 4, 2022, 3:49 Т.Ж.
IscanderCheҚаз. 31, 2024, 3:43 Т.Қ.
Машина тьюринга // Начальное состояние 0 0, ,<,1 // Переход в состояние 1 при пустом символе 0,0,>,0 // Остаемся в состоянии 0, двигаясь вправо при встрече 0 0,1,>…
Если говорить об ошибках, которые возвращает сервер, то их можно проверить через получаемые ошибки в методе QNetworkReply::error() , данный метод возвращает код ошибки. Если искать ошибку 404, то эта ошибка будет аналогична коду ошибки 203 в QNetworkReply , то есть QNetworkReply::ContentNotFoundError .
А дальше уже искать различные другие признаки того, что страница всё же скачивается. Возможно, попытаться прочитать содержимое ответа. Если есть какое-нибудь содержимое, то можно считать, что страница закрыта от парсинга, хотя я не уверен в этом решении. Это только предположение, нужно проверять как будет вести себя сам QNetworkReply и QNetworkAccessManager .
Как прекратить загрузку файла после его закачки на 5-7 %. Это бы решило вопрос пинга страницы.
У класса QNetworkReply есть метод abort() . Когда выполняете метод QNetworkAccessManager::get(const QNetworkRequest &request) он возвращает объект класса QNetworkReply. Сохраняете указатель на этот объект и если надо через его метод abort() прекращаете работу.