Руслан Волшебник
Руслан ВолшебникOct. 16, 2019, 11:07 a.m.

Как реализовать таймер на Django для викторины в telegram боте?

Django, Telegram, Bot, celery

Здравствуйте.

Я делаю викторину в telegram боте на Django.
Суть заключается в том, что нужно выдавать вопрос с ответами пользователю на определенное время, а после окончание времени ему выдается следующий вопрос, но если пользователь вовремя ответил на вопрос, то таймер обновляется и ему выдаётся другой.

У меня в голове только мысль использовать Celery.
А именно, после выполнения функции отправки вопроса, создавать задачу, которая через определенное время снова выполнит эту функцию, а если пользователь уложился в этот промежуток времени и ответил, то остановить задачу и выполнять всё по новой.

Я не спец, но мне кажется, что создавать на каждый вопрос "таску" это не правильное решение.

Как подобное правильно реализовать?

Прошу вас просветить меня.

We recommend hosting TIMEWEB
We recommend hosting TIMEWEB
Stable hosting, on which the social network EVILEG is located. For projects on Django we recommend VDS hosting.

Do you like it? Share on social networks!

17
Evgenii Legotckoi
  • Oct. 16, 2019, 3:17 p.m.
  • The answer was marked as a solution.

Добрый день.

Ну у меня таска создаётся на каждый лайк/дислайк, чтобы уведомление создать, так что я бы не сказал, что это так уж и неправильно.

Тут скорее вопрос в том, как именно сообщать будете боту, что истекло время на ответ. Тут один только таск в celery не поможет.

Если у вас уже есть механизм, которые оповещает бота о подобных изменениях, то не вопрос, таск в celery это решает. А вот если нет, то нужно, чтоюы бот сам опрашивал сервер по истечению времени. В таком случае не обязательно наличие таска в celery. Достаточно будет иметь запись о возможном варианте ответа, у которой будет установлено время итечения актуальности, например поле answer_expired. Таким образом алгоритм получается следующий:

Пользователь получает вопрос и думает над ним, а бот создаёт на сервере незаконченный вопрос на ответ со сроком истечения времени ответа.
При этом бот считает время, и если пользователь успел ответить, то бот завершает вариант ответа, и создаёт новую запись ответа для следующего вопроса. Если пользователь не успел ответить, то бот автоматически берёт следующий вопрос, а предыдущий помечает неотвеченным. Акцентирую внимание на том, что бот сам отсчтиывает время. Если же пользователь по какой-то причине перестал отвечать боту на вопросы и даже закрыл приложние. То при продолжении викторины можно проверить время истчеения ответа на вопрос (запись о варианте ответа с answer_expired) и уже после этого решить, продолжить отвечать на текущий вопрос, если он актуален, или же взять следующий.

Таким образом можно обойтись и без celery, если время будет считать клиент, лишь сверяясь со временем истечения ответа на вопрос.

Если же у вас сервер может посылать какие-то подобные сигналы боту (честно, не знаю как там дела обстоят с ботами, не делал такого), то тут уже можно подключать celery, то поле answer_expired я бы оставил, пригодится.

Вот такие у меня мысли на этот счёт. А так я бы не сказал, что испльзование celery с тасками такое уже и плохое решение. Я например реально использую это для лайков/дислайков, чтобы отсрочить время появления уведомления на одну минуту. Просто пользователь может поставить лайк, а через 5 секунд передумать и убрать его. Таск в итоге выполяентся через минуту, но если лайк уже не найден в базе данных, то и уведомление не создаётся.

    "Таким образом можно обойтись и без celery, если время будет считать клиент, лишь сверяясь со временем истечения ответа на вопрос."

    К сожалению с телеграм ботом так не получится. Для того, чтобы пришёл запрос на сервер, пользователь должен отправить что-нибудь боту.

    Спасибо вам. Думаю этой информации мне будет достаточно, чтобы прийти к решению задачи.

      ок. А в обратную сторону как-то работает? То есть можно как-то стрельнуть в сторону пользователя с сервера информацией? просто тогда таск в celery завершится, а дальше что? пользователь может ответить на вопрос, а ему в ответ, "извините, вы не успели" ?

      Я правильно понимаю алгоритм работы ботов в телеграме?

        Да, вы всё верно поняли.

          Руслан Волшебник
          • Oct. 17, 2019, 11:05 a.m.
          • (edited)

          У меня возник ещё вопрос.
          В самом вопросе я писал вариант с созданием таски для каждого вопроса. Так получается не мало тасков.
          А вопрос то вот в чём. Не лучше ли мне сделать таску, которая каждые, допустим, 100мс проверяет не прошло ли время, которое находится в answer_expired?
          В таком варианте правда погрешность выше.

            Evgenii Legotckoi
            • Oct. 17, 2019, 11:22 a.m.
            • (edited)

            А какая разница будет?
            В любом случае у вас будет по одной таске на каждый активный вопрос.
            Или вы хотите одну большую таску, которая будет перебирать например сразу сотню активных вопросов?
            Думаю, что лучше одну таску на каждый активный вопрос.

            Представьте себе ситуацию. У вас одновременно 1000 активных вопросов, пускай их задали одновременно (так будет проще).

            • Вариант 1. У вас по таску на кждый вопрос, а длительность ответа на вопрос 2 минуты. Таким образом, в течение двух минут у вас будет выполнение таска 1000 раз, при этом каждый таск будет выполняться только для одного вопроса. Выборка данных из базы даных для одной записи будет допустим 1 мс с учетом соединения с базой данных. Ну небольшие расходы на работу таска и т.д. Пускай будет ещё 1 мс. Таким образом выполнение всех этих тасков займёт 2 секунды, в течение 2 минут ожидания всех вопросов.
            • Вариант 2. У вас один жирный таск, который каждые 100мс делает проверку всех активных вопросов. Получается, что выборка всех тасков, конечно не займёт 1 секунду, база данных сработает гораздо быстрее, на маленьких порциях данных тут больше времени соеднинение занимает, но допустим всё заберёт за 20мс, но время работы python кода не уменьшится, и получим, что затратим 1 секунду на перебор всех активных вопросов и проверку их времени. При этом будем делать проверку каждые 100мс, в итоге получается что-то сумасшедшее, поскольку каждые 100мс мы будет ждать 1 секунду на все проверки... Мне кажется я тут бредовую ситуацию описал, но если честно, то она возможна в данном случае.
            • Вариант 3. Один таск проверяет один вопрос каждые 100мс. Ну это теже самые яйца, что и в первом варианте, только чаще.

              Я вас понял) Спасибо ещё раз. Вы помогли мне во всём разобраться.

                Снова здравствуйте. Появилась идея.
                В telegram боте можно редактировать сообщения. Собственно есть мысль сделать периодические задачи, которые будут менять текст сообщения.
                Допустим, на вопрос даётся 10 секунд, мы отправляем сообщение с вопросом и ещё сообщение с таймером. Так вот, задача будет каждую секунду обновлять сообщение с таймером.

                Для работы с периодическими задачами нашёл библиотеку django-celery-beat

                Что думаете об этом? Будут ли нормально работать 1000 периодических задач одновременно?

                И ещё хотелось бы понять, что делать, если упираешься в границы. Т.е., например, выдерживает максимум 1000 задач и как быть? Увеличивать мощности или менять инструменты разработки?

                  Добрый день.

                  Знаете. Для более полного рассуждения на эту тему мне нужно больше информации о самом процессе апдейта сообщения.
                  Может расскажете, как вы будете делать Update сообщения? Вы используете там getUpdate метод или web hook?

                  Насчёт 1000 тасков. Ну не прям одновременно, всё будет зависеть от количества инстансов celery и количества ядер на сервере. Но я бы смотрел по факту, как проект будет развиваться.

                  Когда я упираюсь в границы, то я начинаю рефакторить проект и изучать различные способы оптимизации. Пока что я только один раз докупал мощности сервера и только потому, что в минимальном тарифе было только 5 Гб на жёстком диске, хотя признаю, что сейчас мне бы не хватило минимального тарифа и я в любом случае докупал бы мощности. В большинстве случаев скорее всего достаточно будет изучить способы отпимизации в первую очередь, а потом уже думать над расширением мощностей.

                  Насчет того, выдерживает ли 1000 задач, тоже вопрос из разряда тех, на которые невозможно ответить, не зная всех условий. Всё зависит от того, насколько затратный таск будет. Плюс издержки на соединение бота с сервером и т.д.

                  Я думаю, что тут большее влияние будет иметь как раз это самое соединение по сети, то есть сделать инкремент счётчика не проблема, проблема будет передать данное сообщение. Каждое соедиение будет расходовать ресурс времени, пока таск не завершится. Так что тут скорее может встать проблема ожидания ответа бота, чем нагруженность всей системы. Но это лишь моё дилетантское мнение на этот счёт. Без практического опыта реализации подобных ботов - это лишь оценочное мнение из близлежащих плоскостей.

                  Ну а в случае Django у меня например больше расходуется память, чем процессорное время. Нагрузка на процессор у меня сейчас примерно 8% при посещаемости 1500 человек в сутки, а вот память выедается полностью, ещё и в swap лезет.

                  В любом случае докупить мощности - не проблема. Это всегда можно сделать.

                    Руслан Волшебник
                    • Oct. 24, 2019, 5:30 a.m.
                    • (edited)

                    "Может расскажете, как вы будете делать Update сообщения? Вы используете там getUpdate метод или web hook?"
                    Использую webhook.

                    send_question - функция отправки вопроса с ответами. Она уже есть и работает.

                    А далее мысли по поводу реализации таймера.

                    1. Сразу же отправить сообщение с таймером. Затем из ответа достать message_id(это id сообщения, текст, которого мы будем редактировать) и text(текст сообщения). В тексте сообщения будет число(это же таймер).

                    2. Записать это число куда-нибудь. Так как число - это промежуточный результат, который нет необходимости хранить в бд, то я хочу добавить его в redis(он и так используюется на сервере), ну и ещё в данном случае редис сработает в 10 раз быстрее(проверенно мной). Храниться будет для каждого пользователя, redis.set(chat_id, timer). chat_id - это уникальный идентификатор пользователя в telegram.

                    3. Создаем PeriodicTask для пользователя, если таски нет в бд. И запускаем её. Вот пример.

                    @app.task
                    def update_timer(chat_id, message_id):
                        timer = int(redis.get(chat_id))
                        if timer == 0:
                            PeriodicTask.stop()
                            bot.send_message(chat_id, "Время вышло")
                            # тут должна быть функция, которая отправляет новые вопросы и запускает таймер заново
                            return
                        text = timer - 1
                        bot.edit_message_text(chat_id, message_id, text)
                        redis.set(chat_id, text)
                    

                    Как-то так.

                      Вот я сейчас начал пробовать и столкнулся вот с чем.
                      Слишком долго приходится ждать пока celery beat запустить задачу, от 2 до 5 секунд.
                      И получается, что таймер отправился, а остчет начался через эти 2-5 секунд.

                      Сама задача нормально работает, а вот как ускорить процесс запуска задачи не понятно.

                        Если честно, то даже и не знаю, что сказать.
                        Обычно celery применяют для отложенных задач, или задач, которые нужно выполнять в фоновом режиме.
                        Возможно, что этот инструмент просто не подходит для такой задачи.

                        Мне сама по себе идея таймера на отложенных задачах в celery кажется немного диковатой. Максимум я бы отправлял сообщение о том, что время истекло в таком случае. А таймер должен на клиенте крутиться. Но как тут обстоит дело с ботами телеграм - не знаю ((

                          Понял. Всё равно большое спасибо.

                            Ах да, не могли бы посоветовать инструмент для подобной задачи или хотя бы в какую сторону копать?

                              Судя по моим результатам поиска в гугле, стоит оставить затею с отображением таймера у клиента в боте, так как нельзя запустить таймер напрямую у клиента. Спасибо за всё. Вопросов больше нет.

                                ну да. я вам хотел тоже самое написать ))

                                  Единственное, почитайте вот этот топик на стеке, максимум, что можете сделать по ходу, так изменить брокера для хранения тасков

                                  https://stackoverflow.com/questions/48652282/celery-adding-7000-tasks-with-apply-async-takes-12-seconds

                                    Comments

                                    Only authorized users can post comments.
                                    Please, Log in or Sign up
                                    B

                                    C++ - Test 002. Constants

                                    • Result:16points,
                                    • Rating points-10
                                    B

                                    C++ - Test 001. The first program and data types

                                    • Result:46points,
                                    • Rating points-6
                                    FL

                                    C++ - Test 006. Enumerations

                                    • Result:80points,
                                    • Rating points4
                                    Last comments
                                    k
                                    kmssrFeb. 9, 2024, 2:43 a.m.
                                    Qt Linux - Lesson 001. Autorun Qt application under Linux как сделать автозапуск для флэтпака, который не даёт создавать файлы в ~/.config - вот это вопрос ))
                                    Qt WinAPI - Lesson 007. Working with ICMP Ping in Qt Без строки #include <QRegularExpressionValidator> в заголовочном файле не работает валидатор.
                                    EVA
                                    EVADec. 25, 2023, 6:30 p.m.
                                    Boost - static linking in CMake project under Windows Ошибка LNK1104 часто возникает, когда компоновщик не может найти или открыть файл библиотеки. В вашем случае, это файл libboost_locale-vc142-mt-gd-x64-1_74.lib из библиотеки Boost для C+…
                                    J
                                    JonnyJoDec. 25, 2023, 4:38 p.m.
                                    Boost - static linking in CMake project under Windows Сделал всё по-как у вас, но выдаёт ошибку [build] LINK : fatal error LNK1104: не удается открыть файл "libboost_locale-vc142-mt-gd-x64-1_74.lib" Хоть убей, не могу понять в чём дел…
                                    G
                                    GvozdikDec. 19, 2023, 5:01 a.m.
                                    Qt/C++ - Lesson 056. Connecting the Boost library in Qt for MinGW and MSVC compilers Для решения твой проблемы добавь в файл .pro строчку "LIBS += -lws2_32" она решит проблему , лично мне помогло.
                                    Now discuss on the forum
                                    AC
                                    Alexandru CodreanuJan. 19, 2024, 7:57 p.m.
                                    QML Обнулить значения SpinBox Доброго времени суток, не могу разобраться с обнулением значение SpinBox находящего в делегате. import QtQuickimport QtQuick.ControlsWindow { width: 640 height: 480 visible: tr…
                                    BlinCT
                                    BlinCTDec. 27, 2023, 4:57 p.m.
                                    Растягивать Image на парент по высоте Ну и само собою дял включения scrollbar надо чтобы был Flickable. Так что выходит как то так Flickable{ id: root anchors.fill: parent clip: true property url linkFile p…
                                    Дмитрий
                                    ДмитрийJan. 10, 2024, 12:18 p.m.
                                    Qt Creator загружает всю оперативную память Проблема решена. Удалось разобраться с помощью утилиты strace. Запустил ее: strace ./qtcreator Начал выводиться весь лог работы креатора. В один момент он начал считывать фай…
                                    Evgenii Legotckoi
                                    Evgenii LegotckoiDec. 12, 2023, 2:48 p.m.
                                    Побуквенное сравнение двух строк Добрый день. Там случайно не высылается этот сигнал textChanged ещё и при форматировани текста? Если решиать в лоб, то можно просто отключать сигнал/слотовое соединение внутри слота и …

                                    Follow us in social networks