A
Araz16 грудня 2019 р. 08:39

QT парсинг страницы с автоподгрузкой

QT, GET, POSt

День добрый.
Прошу помочь, каким методом можно подгружать данные с web страницы, которые постоянно обновляются.
Допустим страница: https://ru.investing.com/currencies/single-currency-crosses
Интересуют котировки (наименование, текущий курс).
Данные по текущему курсу постоянно в движении.
Делаю сейчас гет запросом с таймаутом в 10 секунд, иначе блокируется ip.
Но нужно чаще, а точнее в режиме онлайн - изменилось на странице - ловится программой.
Заранее благодарю.

Рекомендуємо хостинг TIMEWEB
Рекомендуємо хостинг TIMEWEB
Стабільний хостинг, на якому розміщується соціальна мережа EVILEG. Для проектів на Django радимо VDS хостинг.

Вам це подобається? Поділіться в соціальних мережах!

1
Evgenii Legotckoi
  • 16 грудня 2019 р. 09:46
  • (відредаговано)

Добрый день.

И вот как вы себе представляете парсинг страницы в режиме реального времени когда на ней что-то изменилось? Чтобы понять, изменяется ли что-то на странице, нужно запускать её в браузере, чтобы могли работать скрипты, которые отвечают за изменение, больше никак. Для любого другого вида получения информации онлайн с этого сайта вам нужно иметь доступ к API сайта, и чтобы это API поддерживало какой-либо протокол для обмена сообщениями о изменениях котировок в режиме реального времени. Либо это websocketы, обычные сокеты, либо специализированный протокол поверх тех же сокетов в конечном итоге. В любом случае нужен доступ к API, если оно вообще имеется на сайте. А "онлайн" парсинг, если на этом сайте ещё и блокировка настроена при частых запросах к странице, то это из области фантастики.

Максимум, что вы можете сделать - это использовать WebEngine из библиотеки Qt, запускать внутри порграммы этот браузерный движок и пытаться выполнять javascript на той странице через этот движок, но там скорее всего тоже будут проблемы с защитой сайта от частого парсинга. Так что довольно дурацкая задача.

Найдите лучше сайт, который предоставляет нормальное открытое API для такого функционала. (Хотя найти такой сайт с реалтаймом тоже задача нетривиальная)

    Коментарі

    Only authorized users can post comments.
    Please, Log in or Sign up
    AD

    C++ - Тест 004. Указатели, Массивы и Циклы

    • Результат:50бали,
    • Рейтинг балів-4
    m
    • molni99
    • 26 жовтня 2024 р. 01:37

    C++ - Тест 004. Указатели, Массивы и Циклы

    • Результат:80бали,
    • Рейтинг балів4
    m
    • molni99
    • 26 жовтня 2024 р. 01:29

    C++ - Тест 004. Указатели, Массивы и Циклы

    • Результат:20бали,
    • Рейтинг балів-10
    Останні коментарі
    ИМ
    Игорь Максимов22 листопада 2024 р. 11:51
    Django - Підручник 017. Налаштуйте сторінку входу до Django Добрый вечер Евгений! Я сделал себе авторизацию аналогичную вашей, все работает, кроме возврата к предидущей странице. Редеректит всегда на главную, хотя в логах сервера вижу запросы на правильн…
    Evgenii Legotckoi
    Evgenii Legotckoi31 жовтня 2024 р. 14:37
    Django - Урок 064. Як написати розширення для Python Markdown Добрый день. Да, можно. Либо через такие же плагины, либо с постобработкой через python библиотеку Beautiful Soup
    A
    ALO1ZE19 жовтня 2024 р. 08:19
    Читалка файлів fb3 на Qt Creator Подскажите как это запустить? Я не шарю в программировании и кодинге. Скачал и установаил Qt, но куча ошибок выдается и не запустить. А очень надо fb3 переконвертировать в html
    ИМ
    Игорь Максимов05 жовтня 2024 р. 07:51
    Django - Урок 064. Як написати розширення для Python Markdown Приветствую Евгений! У меня вопрос. Можно ли вставлять свои классы в разметку редактора markdown? Допустим имея стандартную разметку: <ul> <li></li> <li></l…
    d
    dblas505 липня 2024 р. 11:02
    QML - Урок 016. База даних SQLite та робота з нею в QML Qt Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
    Тепер обговоріть на форумі
    Evgenii Legotckoi
    Evgenii Legotckoi24 червня 2024 р. 15:11
    добавить qlineseries в функции Я тут. Работы оень много. Отправил его в бан.
    t
    tonypeachey115 листопада 2024 р. 06:04
    google domain [url=https://google.com/]domain[/url] domain [http://www.example.com link title]
    NSProject
    NSProject04 червня 2022 р. 03:49
    Всё ещё разбираюсь с кешем. В следствии прочтения данной статьи. Я принял для себя решение сделать кеширование свойств менеджера модели LikeDislike. И так как установка evileg_core для меня не была возможна, ибо он писался…
    9
    9Anonim25 жовтня 2024 р. 09:10
    Машина тьюринга // Начальное состояние 0 0, ,<,1 // Переход в состояние 1 при пустом символе 0,0,>,0 // Остаемся в состоянии 0, двигаясь вправо при встрече 0 0,1,>…

    Слідкуйте за нами в соціальних мережах