KL
Feb. 21, 2017, 11:32 p.m.
QNetworkAccessManager Как отследить страницу закрытую от парсинга и страницу с кодом 404
Добрый вечер, при парсинге страниц попадаешь на сайты с защитными Api, как отличить сайт закрытый от парсинга от страниц которых не существует?
2
253
Do you like it? Share on social networks!
- Last comments
- AKApril 1, 2025, 11:41 a.m.Добрый день. В данный момент работаю над проектом, где необходимо выводить звук из программы в определенное аудиоустройство (колонки, наушники, виртуальный кабель и т.д). Пишу на Qt5.12.12 поско…
March 9, 2025, 9:02 p.m.К сожалению, я этого подсказать не могу, поскольку у меня нет необходимости в обходе блокировок и т.д. Поэтому я и не задавался решением этой проблемы. Ну выглядит так, что вам действитель…- VPMarch 9, 2025, 4:14 p.m.Здравствуйте! Я устанавливал Qt6 из исходников а также Qt Creator по отдельности. Все компоненты, связанные с разработкой для Android, установлены. Кроме одного... Когда пытаюсь скомпилиров…
- ИМNov. 22, 2024, 9:51 p.m.Добрый вечер Евгений! Я сделал себе авторизацию аналогичную вашей, все работает, кроме возврата к предидущей странице. Редеректит всегда на главную, хотя в логах сервера вижу запросы на правильн…
- Oct. 31, 2024, 11:37 p.m.Добрый день. Да, можно. Либо через такие же плагины, либо с постобработкой через python библиотеку Beautiful Soup
- Now discuss on the forum
- МАApril 1, 2025, 4:21 p.m.0ff763fe-4e50-455d-a3a6-5699c243b1a5_17_44_22_1.xml
- fFeb. 15, 2025, 1:46 p.m.Подскажите, пожалуйста! Как данный класс можно дополнить, чтобы созданные объекты можно было перемещать мышкой по сцене?
Feb. 3, 2025, 4:24 p.m.Всем привет. Сделал свой deb-пакет с программой. Всё устанавливается и работает. Ставлю по пути /usr/bin/my_application. Как для пользователя при установке пакета сразу создать ярлык на раб…- Не запускается компьютер (точнее работает блок , но сам монитор вообще жесть)В общем я ничего с интернета не скачивала в последнее время. На компе никаких левых пр…
- Вопрос решен. Узнать QModelIndex элемента на который мы перетаскиваем другой элемент, можно с помощью функции indexAt(event->position().toPoint()) представления QTreeViev вызываемой в переопр…
Если говорить об ошибках, которые возвращает сервер, то их можно проверить через получаемые ошибки в методе QNetworkReply::error() , данный метод возвращает код ошибки. Если искать ошибку 404, то эта ошибка будет аналогична коду ошибки 203 в QNetworkReply , то есть QNetworkReply::ContentNotFoundError .
А дальше уже искать различные другие признаки того, что страница всё же скачивается. Возможно, попытаться прочитать содержимое ответа. Если есть какое-нибудь содержимое, то можно считать, что страница закрыта от парсинга, хотя я не уверен в этом решении. Это только предположение, нужно проверять как будет вести себя сам QNetworkReply и QNetworkAccessManager .
Как прекратить загрузку файла после его закачки на 5-7 %. Это бы решило вопрос пинга страницы.
У класса QNetworkReply есть метод abort() . Когда выполняете метод QNetworkAccessManager::get(const QNetworkRequest &request) он возвращает объект класса QNetworkReply. Сохраняете указатель на этот объект и если надо через его метод abort() прекращаете работу.