A
Araz16 декабря 2019 г. 8:39

QT парсинг страницы с автоподгрузкой

QT, GET, POSt

День добрый.
Прошу помочь, каким методом можно подгружать данные с web страницы, которые постоянно обновляются.
Допустим страница: https://ru.investing.com/currencies/single-currency-crosses
Интересуют котировки (наименование, текущий курс).
Данные по текущему курсу постоянно в движении.
Делаю сейчас гет запросом с таймаутом в 10 секунд, иначе блокируется ip.
Но нужно чаще, а точнее в режиме онлайн - изменилось на странице - ловится программой.
Заранее благодарю.

Рекомендуем хостинг TIMEWEB
Рекомендуем хостинг TIMEWEB
Стабильный хостинг, на котором располагается социальная сеть EVILEG. Для проектов на Django рекомендуем VDS хостинг.

Вам это нравится? Поделитесь в социальных сетях!

1
Evgenii Legotckoi
  • 16 декабря 2019 г. 9:46
  • (ред.)

Добрый день.

И вот как вы себе представляете парсинг страницы в режиме реального времени когда на ней что-то изменилось? Чтобы понять, изменяется ли что-то на странице, нужно запускать её в браузере, чтобы могли работать скрипты, которые отвечают за изменение, больше никак. Для любого другого вида получения информации онлайн с этого сайта вам нужно иметь доступ к API сайта, и чтобы это API поддерживало какой-либо протокол для обмена сообщениями о изменениях котировок в режиме реального времени. Либо это websocketы, обычные сокеты, либо специализированный протокол поверх тех же сокетов в конечном итоге. В любом случае нужен доступ к API, если оно вообще имеется на сайте. А "онлайн" парсинг, если на этом сайте ещё и блокировка настроена при частых запросах к странице, то это из области фантастики.

Максимум, что вы можете сделать - это использовать WebEngine из библиотеки Qt, запускать внутри порграммы этот браузерный движок и пытаться выполнять javascript на той странице через этот движок, но там скорее всего тоже будут проблемы с защитой сайта от частого парсинга. Так что довольно дурацкая задача.

Найдите лучше сайт, который предоставляет нормальное открытое API для такого функционала. (Хотя найти такой сайт с реалтаймом тоже задача нетривиальная)

    Комментарии

    Только авторизованные пользователи могут публиковать комментарии.
    Пожалуйста, авторизуйтесь или зарегистрируйтесь
    AD

    C++ - Тест 004. Указатели, Массивы и Циклы

    • Результат:50баллов,
    • Очки рейтинга-4
    m
    • molni99
    • 26 октября 2024 г. 11:37

    C++ - Тест 004. Указатели, Массивы и Циклы

    • Результат:80баллов,
    • Очки рейтинга4
    m
    • molni99
    • 26 октября 2024 г. 11:29

    C++ - Тест 004. Указатели, Массивы и Циклы

    • Результат:20баллов,
    • Очки рейтинга-10
    Последние комментарии
    ИМ
    Игорь Максимов22 ноября 2024 г. 22:51
    Django - Урок 017. Кастомизированная страница авторизации на Django Добрый вечер Евгений! Я сделал себе авторизацию аналогичную вашей, все работает, кроме возврата к предидущей странице. Редеректит всегда на главную, хотя в логах сервера вижу запросы на правильн…
    Evgenii Legotckoi
    Evgenii Legotckoi1 ноября 2024 г. 0:37
    Django - Урок 064. Как написать расширение для Python Markdown Добрый день. Да, можно. Либо через такие же плагины, либо с постобработкой через python библиотеку Beautiful Soup
    A
    ALO1ZE19 октября 2024 г. 18:19
    Читалка fb3-файлов на Qt Creator Подскажите как это запустить? Я не шарю в программировании и кодинге. Скачал и установаил Qt, но куча ошибок выдается и не запустить. А очень надо fb3 переконвертировать в html
    ИМ
    Игорь Максимов5 октября 2024 г. 17:51
    Django - Урок 064. Как написать расширение для Python Markdown Приветствую Евгений! У меня вопрос. Можно ли вставлять свои классы в разметку редактора markdown? Допустим имея стандартную разметку: <ul> <li></li> <li></l…
    d
    dblas55 июля 2024 г. 21:02
    QML - Урок 016. База данных SQLite и работа с ней в QML Qt Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
    Сейчас обсуждают на форуме
    Evgenii Legotckoi
    Evgenii Legotckoi25 июня 2024 г. 1:11
    добавить qlineseries в функции Я тут. Работы оень много. Отправил его в бан.
    t
    tonypeachey115 ноября 2024 г. 17:04
    google domain [url=https://google.com/]domain[/url] domain [http://www.example.com link title]
    NSProject
    NSProject4 июня 2022 г. 13:49
    Всё ещё разбираюсь с кешем. В следствии прочтения данной статьи. Я принял для себя решение сделать кеширование свойств менеджера модели LikeDislike. И так как установка evileg_core для меня не была возможна, ибо он писался…
    9
    9Anonim25 октября 2024 г. 19:10
    Машина тьюринга // Начальное состояние 0 0, ,<,1 // Переход в состояние 1 при пустом символе 0,0,>,0 // Остаемся в состоянии 0, двигаясь вправо при встрече 0 0,1,>…

    Следите за нами в социальных сетях