Евгений Легоцкой3 ноября 2019 г. 15:03

EVILEG-CORE. Кэширование свойств объектов моделей с помощью model_cached_property

Для ускорения работы сайта, помимо оптимизации запросов к базе данных, можно использовать кеширование.

Django позволяет кэшировать:

  • индивидуальное view , как Class Based View , так и обычные функции view
  • целые шаблоны или части этих шаблонов
  • QuerySet
  • а также свойства объектов модели с помощью cached_property

Меня интересовала возможность кэшировать отдельные свойства объектов модели для тяжелых вычислений или тяжелых запросов к базе данных.
Такой функционал есть у декоратора cached_property , но минус для меня был в том, что кеширование происходило только на время жизни объекта.
Тогда как мне нужно кэширование на более длительный период времени, чем существование объекта при запросе страницы. А также мне нужно было кешировать свойства в зависимости от входных аргументов. Этот декоратор на сайте кеширует количество лайков и дизлайков, а также информацию о том, понравился ли текущему пользователю тот или иной объект контента.

Так был написан декоратор model_cached_property

model_cached_property

Этот декоратор использует redis в качестве механизма кэширования, поскольку для аннулирования кеша может потребоваться удаление группы ключей, принадлежащих этому свойству. Так как свойство может кэшироваться для разных пользователей по-разному.

Установка EVILEG-CORE

pip install evileg-core

Также evileg_core подтянет все зависимости, необходимые для этого пакета. Включая библиотеку django-redis , которая используется для работы с redis .

Если вы еще не используете redis , вам необходимо его установить.

sudo apt install redis-server

settings.py

Добавить evileg_core к установленным приложениям

INSTALLED_APPS = [
    ...
    'evileg_core',
]

Настройка кэширующего бэкэнда

CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": "redis://127.0.0.1:6379/1",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
        }
    }
}

Использование model_cached_property

Нормальное кэширование

from evileg_core.cache.decorators import model_cached_property

class Article(models.Model):

    @model_cached_property
    def comments_count(self):
        return self.comments.count()

Этот декоратор будет кэшировать количество комментариев к статье на 60 секунд. При следующем запросе страницы статьи запрос будет выполняться сначала к кешу для конкретного объекта статьи, и только если срок действия кеша истек, запрос снова будет выполняться к базе данных.

Set Caching Timeout

Если вы хотите установить конкретное время кэширования, вы можете использовать аргумент timeout с декоратором.

class Article(models.Model):

    @model_cached_property(timeout=3000)
    def comments_count(self):
        return self.comments.count()

Глобальная настройка длительности кеша

Вы также можете установить глобальное время кэширования для всех декораторов в settings.py в секундах.

MODEL_CACHED_PROPERTY_TIMEOUT = 300000

Использование свойств с аргументами

А теперь самое интересное. Кэширование свойств с аргументами, благодаря чему можно кэшировать результат, используя информацию о входных аргументах свойства модели данных.

Это одновременно и преимущество этого декоратора, и его недостаток. Дело в том, что кэширование правильное, нужно, чтобы входные аргументы были уникальными. Например, если входные аргументы являются временными неуникальными объектами, такими как AnonymousUser , кэширование не будет работать.

Однако декоратор может использоваться для кэширования в зависимости от пользователя. Это может выглядеть так.

class Article(models.Model):

    @model_cached_property
    def __user_in_bookmarks(self, user):
        return self.bookmarks.filter(user=user).exists()

    def user_in_bookmarks(self, user):
        return self.__user_in_bookmarks(user) if user.is_authenticated else False

Обратите внимание, что есть проверка на user.is_authenticated , потому что кеширование неаутентифицированного пользователя будет работать некорректно, а для аутентифицированного будет работать корректно, так как аутентифицированный пользователь является уникальным объектом.

Cache invalidation

В том случае, если кеш стал неактуален до истечения срока его жизни, то можно воспользоваться функцией invalidate_model_cached_property

from evileg_core.cache.utils import invalidate_model_cached_property

class Article(models.Model):

    def invalidate_cache(self):
        invalidate_model_cached_property(self, self.comments_count)

Для корректной инвалидации кэша необходимо передать объект, кэш которого вы хотите очистить, а также метод этого объекта.

Это может выглядеть так же.

article = get_object_or_404(Article, pk=12)
invalidate_model_cached_property(article, article.comments_count)

Вывод

Таким образом, model_cached_property можно использовать для

  • кеширование свойств объектов модели на длительное время, большее времени жизни объекта при запросе страницы
  • кеширование свойств объектов модели в зависимости от входных аргументов

Есть ограничения

  • этот декоратор можно использовать только в моделях, то есть классах, унаследованных от models.Model
  • кеширование свойств модели в зависимости от аргументов должно производиться только для уникальных входных аргументов, иначе кеширование будет некорректным
Рекомендуем хостинг TIMEWEB
Рекомендуем хостинг TIMEWEB
Стабильный хостинг, на котором располагается социальная сеть EVILEG. Для проектов на Django рекомендуем VDS хостинг.
- блог компании
Поддержать автора Donate
МК

а functools.lru_cache в данном случае не поможет?

Добрый день.

Думаю, что не совсем. Технически здесь решается задача кэширования не последних вызовов функции, как в lru_cache, а кэширование свойств для ряда объектов модели данных. К тому же cache_clear() будет полностью удалять весь кэш, тогда как у меня предусмотрен более специфический функционал для инвалидации части ключей, которые перестали быть актуальны.

Давайте поясню на примере.

На сайте есть модель данных ForumTopic , у которой есть лайки и дислайки, а также они подсвечиваются, если пользователь выбрал лайк или дислайк. Вся эта информация у меня кэшируется, поскольку для лайков и дислайков используются GenericForeignKey и запросы к базе данных посылаются отдельно, что получается несколько накладно для страниц со списком тем на форуме. Поэтому я предпочитаю кэшировать эти данные и при срабатывание некоторых событий делать инвалидацию кэша.

Так вот, если использовать lru_cache, то он будет кэшировать лишь n-последних вызовов метода, то есть придётся отслеживать количество контента и вручную поправлять количество последних кэширований, если решать эту задачу в лоб. А в случае очистки кэша, при вызове страниц будут заново кэшироваться все свойства для всех объектов ForumTopic. Получается ситуация, если пользователь лайкнул один единственный пост, то кэш будет очищаться для всех объектов, чего я не хочу.

model_cached_property же работает немного иначе. Он кэширует информацию о модели данных, а именно о таблице в базе данных, а также об id объекта, а потом информацию об имени свойства и входных аргументах. В результате происходит уникальное кжширование для каждого отдельного объекта.

Когда вы вызываете функцию invalidate_model_cached_property, то кэш очищается только для конкретного объекта базы данных.

Таким образом, когда пользователь лайкнет один какой-то объект ForumTopic , то кэш будет очищен только для этого ForumTopic . И при следующем запросе список объектов ForumTopic будет выполняться запрос о лайках и дислайках только для одного единственного объекта. Плюс я не беспокоюсь о том, что мне нужно думать, какой максимальный размер кэша нужно делать.

Конечно, вопрос расхода памяти на кэширование является довольно важным и если появится бутылочное горлышко, то я буду его решать. Но на данный момент я поставил у себя длительность кэширования подобных активностей, как лайки, на целый месяц и на данный момент ещё не заметил проблем.

Но если я что-то не учёл и у вас есть, что дополнить, то с удовольствием выслушаю вашу точку зрения, возможно, что это поможет доработать функциональность model_cached_property

Всё конечно супер классно. Интересует лишь один вопрос.

Здравствуйте. В общем меня интересует такой вопрос. Я пробовал это на Like , Dislike. Как я понимаю если не перевалидировать кеш то ничего не изменится на странице. Вернётся значение из кэша? Отсюда второй вопрос как и где прописть эту перевалидацию? Ибо если я пишу её через модель как сказано в статье. То ничего не происходит. По этому интересует то как и где перевалидировать кеш.

Да, если не вызывать invalidate_cache , то ничего не произойдёт.
Место вызова инвалидации обычно индивидуально. Но я стараюсь вешать его на сигналы сохранения и удаления объектов.

В случае с Like Dislike , которые используют GenericForeignKey удобнее всего поступить следующим образом.

Добавить метод invalidate_cache , который будет вызывать метод инвалидации content_object

class LikeDislike(...):

    ...

    def invalidate_cache(self):
        self.content_object.invalidate_like_dislike_cache()

А потом навешать инвалидацию на сигналы

# -*- coding: utf-8 -*-

from django.db.models.signals import post_save, pre_delete

from .models import LikeDislike

def cache_invalidate_activity(sender, instance, **kwargs):
    instance.invalidate_cache()

post_save.connect(cache_invalidate_activity, sender=LikeDislike)
pre_delete.connect(cache_invalidate_activity, sender=LikeDislike)

В таком случае инвалидация будет действовать на лету, главное, чтобы во всех моделях были, к которым привязываются лайки и дизлайки, были определены соответсвующие методы инвалидации.

Спасибо за пояснения. Я ток щас догнал как это всё работает. Просто с сигналами не работал никогда. Но вот теперь стало понятно.

Комментарии

Только авторизованные пользователи могут публиковать комментарии.
Пожалуйста, авторизуйтесь или зарегистрируйтесь
Card image cap
Pulsum Via

Проект для путешественников от EVILEG.

Перейти
Timeweb

Позвольте мне порекомендовать вам отличный хостинг, на котором расположен EVILEG.

В течение многих лет Timeweb доказывает свою стабильность.

Для проектов на Django рекомендую VDS хостинг

Посмотреть Хостинг
Поделиться в социальных сетях
Donate

Проект EVILEG перешёл на некоммерческую основу и будет развиваться исключительно на энтузиазме создателя сайта, энтузиазме пользователей, пожертвованиях и реферальной системе хостинга

Спасибо за вашу поддержку

Доступные способы поддержки проекта

PayPal

PatreonYooMoneyПодробнее
M

C++ - Тест 004. Указатели, Массивы и Циклы

  • Результат:20баллов,
  • Очки рейтинга-10
k

C++ - Тест 005. Структуры и Классы

  • Результат:83баллов,
  • Очки рейтинга4
k

C++ - Тест 002. Константы

  • Результат:58баллов,
  • Очки рейтинга-2
Последние комментарии
Ds

Android и QML - Добавление Splash Screen

Интересен формат иконки, если это png, то как решается проблема scalability? не растягивается ли лого на китайфонах с 1280х2500? У меня просто сплеш скрин с градиентом и логотипом, и вот несколь…
p

Qt/C++ - Урок 023. Перетаскивание QGraphicsItem на QGraphicsScene мышью

FIGURE Abdominopelvic regions. Zjuaqd https://newfasttadalafil.com/ - Cialis Cialis Recommendations for preparing children and adolescents for invasive cardiac procedures a statement…
КГ

Как использовать вложенные формы в Django

Спасибо за полезную статью. Подскажите пожалуйста, что делать если нужно реализовать большее количество вложенных форм? Например если на модель Address ссылается fk другой модели, на котору…

Qt/C++ - Урок 051. QMediaPlayer - Аудио плеер на Qt

Не думаю, QMediaPlayer в один поток проигрывает. Если вам нужно одновременное воспроизведение нескольких аудиоисточников, то вам нужна Bass audio library , насколько знаю, её обычно и…
АГ

Qt/C++ - Урок 051. QMediaPlayer - Аудио плеер на Qt

есть такая вообще возможность ?
Сейчас обсуждают на форуме
АБ

Sorting the added QML elements in the ListModel

I am writing an alarm clock in QML, I am required to sort the alarms in ascending order (depending on the date or time (if there are several alarms on the same day). I've done the sorting …

Изменение поведения QGroupBox при клике на его чекбокс

Я вынес виджеты вынес за пределы QGroupBox в итоге.

QSqlRelatipnalTabelModel Qt 4.8.1 как получить id внешней связи?

Есть еще принципиально другой вариант решить раз и навсегда вопрос с полей id внешней связи. Это форкнуть Qt 4.8.1 QSqlTableModel, то есть создать свою ветку развития. Например создадим кл…

Добавление AndroidManifest.xml в cmake

Добрый день. Как добавить AndroidManifest.xml в cmake? Это не работвет set(ANDROID_PACKAGE_SOURCE_DIR ${PROJECT_SOURCE_DIR}/android CACHE INTERNAL "")set(ANDROID_BUID_DIR ${CMAKE_C…
s

Событие wheelEvent для виджета QLineEdit

вот что получилось: gui.py from PyQt5 import QtCore, QtGui, QtWidgets class LineEdit(QtWidgets.QLineEdit): def wheelEvent(self, event): #print("_") delta = 1 if e…
О нас
Услуги
© EVILEG 2015-2022
Рекомендует хостинг TIMEWEB