Как реализовать таймер на Django для викторины в telegram боте?

Django, Telegram, Bot, celery

Рекомендуємо хостинг TIMEWEB

Stabiles Hosting des sozialen Netzwerks EVILEG. Wir empfehlen VDS-Hosting für Django-Projekte.

Добрый день.

Ну у меня таска создаётся на каждый лайк/дислайк, чтобы уведомление создать, так что я бы не сказал, что это так уж и неправильно.

Тут скорее вопрос в том, как именно сообщать будете боту, что истекло время на ответ. Тут один только таск в celery не поможет.

Если у вас уже есть механизм, которые оповещает бота о подобных изменениях, то не вопрос, таск в celery это решает. А вот если нет, то нужно, чтоюы бот сам опрашивал сервер по истечению времени. В таком случае не обязательно наличие таска в celery. Достаточно будет иметь запись о возможном варианте ответа, у которой будет установлено время итечения актуальности, например поле answer_expired. Таким образом алгоритм получается следующий:

Пользователь получает вопрос и думает над ним, а бот создаёт на сервере незаконченный вопрос на ответ со сроком истечения времени ответа.
При этом бот считает время, и если пользователь успел ответить, то бот завершает вариант ответа, и создаёт новую запись ответа для следующего вопроса. Если пользователь не успел ответить, то бот автоматически берёт следующий вопрос, а предыдущий помечает неотвеченным. Акцентирую внимание на том, что бот сам отсчтиывает время. Если же пользователь по какой-то причине перестал отвечать боту на вопросы и даже закрыл приложние. То при продолжении викторины можно проверить время истчеения ответа на вопрос (запись о варианте ответа с answer_expired) и уже после этого решить, продолжить отвечать на текущий вопрос, если он актуален, или же взять следующий.

Таким образом можно обойтись и без celery, если время будет считать клиент, лишь сверяясь со временем истечения ответа на вопрос.

Если же у вас сервер может посылать какие-то подобные сигналы боту (честно, не знаю как там дела обстоят с ботами, не делал такого), то тут уже можно подключать celery, то поле answer_expired я бы оставил, пригодится.

Вот такие у меня мысли на этот счёт. А так я бы не сказал, что испльзование celery с тасками такое уже и плохое решение. Я например реально использую это для лайков/дислайков, чтобы отсрочить время появления уведомления на одну минуту. Просто пользователь может поставить лайк, а через 5 секунд передумать и убрать его. Таск в итоге выполяентся через минуту, но если лайк уже не найден в базе данных, то и уведомление не создаётся.

"Таким образом можно обойтись и без celery, если время будет считать клиент, лишь сверяясь со временем истечения ответа на вопрос."

К сожалению с телеграм ботом так не получится. Для того, чтобы пришёл запрос на сервер, пользователь должен отправить что-нибудь боту.

Спасибо вам. Думаю этой информации мне будет достаточно, чтобы прийти к решению задачи.

ок. А в обратную сторону как-то работает? То есть можно как-то стрельнуть в сторону пользователя с сервера информацией? просто тогда таск в celery завершится, а дальше что? пользователь может ответить на вопрос, а ему в ответ, "извините, вы не успели" ?

Я правильно понимаю алгоритм работы ботов в телеграме?

Да, вы всё верно поняли.

У меня возник ещё вопрос.
В самом вопросе я писал вариант с созданием таски для каждого вопроса. Так получается не мало тасков.
А вопрос то вот в чём. Не лучше ли мне сделать таску, которая каждые, допустим, 100мс проверяет не прошло ли время, которое находится в answer_expired?
В таком варианте правда погрешность выше.

А какая разница будет?
В любом случае у вас будет по одной таске на каждый активный вопрос.
Или вы хотите одну большую таску, которая будет перебирать например сразу сотню активных вопросов?
Думаю, что лучше одну таску на каждый активный вопрос.

Представьте себе ситуацию. У вас одновременно 1000 активных вопросов, пускай их задали одновременно (так будет проще).

• Вариант 1. У вас по таску на кждый вопрос, а длительность ответа на вопрос 2 минуты. Таким образом, в течение двух минут у вас будет выполнение таска 1000 раз, при этом каждый таск будет выполняться только для одного вопроса. Выборка данных из базы даных для одной записи будет допустим 1 мс с учетом соединения с базой данных. Ну небольшие расходы на работу таска и т.д. Пускай будет ещё 1 мс. Таким образом выполнение всех этих тасков займёт 2 секунды, в течение 2 минут ожидания всех вопросов.
• Вариант 2. У вас один жирный таск, который каждые 100мс делает проверку всех активных вопросов. Получается, что выборка всех тасков, конечно не займёт 1 секунду, база данных сработает гораздо быстрее, на маленьких порциях данных тут больше времени соеднинение занимает, но допустим всё заберёт за 20мс, но время работы python кода не уменьшится, и получим, что затратим 1 секунду на перебор всех активных вопросов и проверку их времени. При этом будем делать проверку каждые 100мс, в итоге получается что-то сумасшедшее, поскольку каждые 100мс мы будет ждать 1 секунду на все проверки... Мне кажется я тут бредовую ситуацию описал, но если честно, то она возможна в данном случае.
• Вариант 3. Один таск проверяет один вопрос каждые 100мс. Ну это теже самые яйца, что и в первом варианте, только чаще.

Я вас понял) Спасибо ещё раз. Вы помогли мне во всём разобраться.

Снова здравствуйте. Появилась идея.
В telegram боте можно редактировать сообщения. Собственно есть мысль сделать периодические задачи, которые будут менять текст сообщения.
Допустим, на вопрос даётся 10 секунд, мы отправляем сообщение с вопросом и ещё сообщение с таймером. Так вот, задача будет каждую секунду обновлять сообщение с таймером.

Для работы с периодическими задачами нашёл библиотеку django-celery-beat

Что думаете об этом? Будут ли нормально работать 1000 периодических задач одновременно?

И ещё хотелось бы понять, что делать, если упираешься в границы. Т.е., например, выдерживает максимум 1000 задач и как быть? Увеличивать мощности или менять инструменты разработки?

Добрый день.

Знаете. Для более полного рассуждения на эту тему мне нужно больше информации о самом процессе апдейта сообщения.
Может расскажете, как вы будете делать Update сообщения? Вы используете там getUpdate метод или web hook?

Насчёт 1000 тасков. Ну не прям одновременно, всё будет зависеть от количества инстансов celery и количества ядер на сервере. Но я бы смотрел по факту, как проект будет развиваться.

Когда я упираюсь в границы, то я начинаю рефакторить проект и изучать различные способы оптимизации. Пока что я только один раз докупал мощности сервера и только потому, что в минимальном тарифе было только 5 Гб на жёстком диске, хотя признаю, что сейчас мне бы не хватило минимального тарифа и я в любом случае докупал бы мощности. В большинстве случаев скорее всего достаточно будет изучить способы отпимизации в первую очередь, а потом уже думать над расширением мощностей.

Насчет того, выдерживает ли 1000 задач, тоже вопрос из разряда тех, на которые невозможно ответить, не зная всех условий. Всё зависит от того, насколько затратный таск будет. Плюс издержки на соединение бота с сервером и т.д.

Я думаю, что тут большее влияние будет иметь как раз это самое соединение по сети, то есть сделать инкремент счётчика не проблема, проблема будет передать данное сообщение. Каждое соедиение будет расходовать ресурс времени, пока таск не завершится. Так что тут скорее может встать проблема ожидания ответа бота, чем нагруженность всей системы. Но это лишь моё дилетантское мнение на этот счёт. Без практического опыта реализации подобных ботов - это лишь оценочное мнение из близлежащих плоскостей.

Ну а в случае Django у меня например больше расходуется память, чем процессорное время. Нагрузка на процессор у меня сейчас примерно 8% при посещаемости 1500 человек в сутки, а вот память выедается полностью, ещё и в swap лезет.

В любом случае докупить мощности - не проблема. Это всегда можно сделать.

"Может расскажете, как вы будете делать Update сообщения? Вы используете там getUpdate метод или web hook?"
Использую webhook.

send_question - функция отправки вопроса с ответами. Она уже есть и работает.

А далее мысли по поводу реализации таймера.

1. Сразу же отправить сообщение с таймером. Затем из ответа достать message_id(это id сообщения, текст, которого мы будем редактировать) и text(текст сообщения). В тексте сообщения будет число(это же таймер).

2. Записать это число куда-нибудь. Так как число - это промежуточный результат, который нет необходимости хранить в бд, то я хочу добавить его в redis(он и так используюется на сервере), ну и ещё в данном случае редис сработает в 10 раз быстрее(проверенно мной). Храниться будет для каждого пользователя, redis.set(chat_id, timer). chat_id - это уникальный идентификатор пользователя в telegram.

3. Создаем PeriodicTask для пользователя, если таски нет в бд. И запускаем её. Вот пример.

@app.task
def update_timer(chat_id, message_id):
    timer = int(redis.get(chat_id))
    if timer == 0:
        PeriodicTask.stop()
        bot.send_message(chat_id, "Время вышло")
        # тут должна быть функция, которая отправляет новые вопросы и запускает таймер заново
        return
    text = timer - 1
    bot.edit_message_text(chat_id, message_id, text)
    redis.set(chat_id, text)

Как-то так.

Вот я сейчас начал пробовать и столкнулся вот с чем.
Слишком долго приходится ждать пока celery beat запустить задачу, от 2 до 5 секунд.
И получается, что таймер отправился, а остчет начался через эти 2-5 секунд.

Сама задача нормально работает, а вот как ускорить процесс запуска задачи не понятно.

Если честно, то даже и не знаю, что сказать.
Обычно celery применяют для отложенных задач, или задач, которые нужно выполнять в фоновом режиме.
Возможно, что этот инструмент просто не подходит для такой задачи.

Мне сама по себе идея таймера на отложенных задачах в celery кажется немного диковатой. Максимум я бы отправлял сообщение о том, что время истекло в таком случае. А таймер должен на клиенте крутиться. Но как тут обстоит дело с ботами телеграм - не знаю ((

Понял. Всё равно большое спасибо.

Ах да, не могли бы посоветовать инструмент для подобной задачи или хотя бы в какую сторону копать?

Судя по моим результатам поиска в гугле, стоит оставить затею с отображением таймера у клиента в боте, так как нельзя запустить таймер напрямую у клиента. Спасибо за всё. Вопросов больше нет.

ну да. я вам хотел тоже самое написать ))

Единственное, почитайте вот этот топик на стеке, максимум, что можете сделать по ходу, так изменить брокера для хранения тасков

https://stackoverflow.com/questions/48652282/celery-adding-7000-tasks-with-apply-async-takes-12-seconds