Evgenii Legotckoi
Evgenii Legotckoi03 листопада 2019 р. 04:03

EVILEG-CORE. Кешування властивостей об'єктів моделей за допомогою model_cached_property

Для прискорення роботи сайту крім оптимізації запитів до бази даних можна використовувати і кешування.

Django дозволяє виконувати кешування:

  • Окремих view , як Class Based View , так і звичайних функцій view
  • Цілих шаблонів або їх частин
  • Цілих QuerySet
  • А також властивостей об'єктів моделей за допомогою cached_property

Мене цікавила можливість кешування окремих властивостей об'єктів моделей для важкий обчислень або важких запитів до бази даних.
Таким фукціоналом володіє декоратор cached_property , але недолік для мене полягав в тому, що кешування відбувалося лише на період життя об'єкта.
Тоді як мені потрібно кешування на більший пероід часу, ніж існування об'єкта при запиті сторінки. А також мені було потрібно кешування властивостей в залежності від вхідних аргументів. Даний декоратор на сайті кешируєт кількість лайків і діслайков, а також інформацію про те, лайкнув чи поточний користувач той чи інший об'єкт контента.

Таким чином був написаний декоратор model_cached_property


model_cached_property

Даний декоратор використовує в якості бекенд кешування redis , оскільки для інвалідаціі кеша може знадобитися видалення групи ключів, які відносяться до даного властивості. Оскільки властивість може кешуватися для різних користувачів по різному.

Установка EVILEG-CORE

pip install evileg-core

Також evileg_core підтягне всі необхідні для даного пакета залежності. У тому числі бібліотеку django-redis , яка використовується для роботи з redis .

Якщо ви ще не використовуєте у себе redis , то буде потрібно його встановити.

sudo apt install redis-server

settings.py

Додаємо evileg_core в встановлені додатки

INSTALLED_APPS = [
    ...
    'evileg_core',
]

Налаштовуємо бекенд кешування

CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": "redis://127.0.0.1:6379/1",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
        }
    }
}

Використання model_cached_property

Звичайне кешування

from evileg_core.cache.decorators import model_cached_property

class Article(models.Model):

    @model_cached_property
    def comments_count(self):
        return self.comments.count()

Даний декоратор буде кешувати кількість коментарів до статті на 60 секунд. При наступному запиті сторінки статті запит буде виконаний спочатку до кешу для конкретного об'єкта статті, і тільки якщо тривалість кеша минула, то запит буде знову виконаний до бази даних.

Установка тривалості кешування

Якщо ж ви хочете задати певний час кешування, то можете використовувати аргумент timeout у декоратора.

class Article(models.Model):

    @model_cached_property(timeout=3000)
    def comments_count(self):
        return self.comments.count()

Глобальна установка тривалості кешування

Також можна задати глобальне час кешування для всіх декораторів в файлі settings.py в секундах

MODEL_CACHED_PROPERTY_TIMEOUT = 300000

Використання властивостей з аргументами

А тепер найцікавіше. Кешування властивостей з аргументами, завдяки якому можна кешувати результат за допомогою інформації про вхідних аргуметом властивості моделі даних.

Це є як перевагою даного декоратора, так і його недоліком. Справа в тому, щоб кешування було коректним, необхідно, щоб вхідні аргументи були унікальними. Наприклад, якщо вхідні аргументи є тимчасовими неунікальні об'єктами, як AnonymousUser , то кешування не працюватиме.

Проте, декоратор може використовуватися для кешування в залежності від користувача. Це може виглядати наступним чином.

class Article(models.Model):

    @model_cached_property
    def __user_in_bookmarks(self, user):
        return self.bookmarks.filter(user=user).exists()

    def user_in_bookmarks(self, user):
        return self.__user_in_bookmarks(user) if user.is_authenticated else False

Зверніть увагу, що тут є перевірка на user.is_authenticated , оскільки кешування нерозпізнаних користувачів не працюватиме коректно, однак буде працювати коректно для аутентифицированного користувача, оскільки аутентіфіцированний користувач є унікальним об'єктом.

Інвалідація кеша

У тому випадку, якщо кеш став неактуальним завчасно закінчення його життя, то ви можете скористатися функцією invalidate_model_cached_property

from evileg_core.cache.utils import invalidate_model_cached_property

class Article(models.Model):

    def invalidate_cache(self):
        invalidate_model_cached_property(self, self.comments_count)

Для коректної інвалідаціі кешу необхідно передати об'єкт, кеш якого необхідно очистити, а також метод цього об'єкта.

Це може виглядати також і таким чином

article = get_object_or_404(Article, pk=12)
invalidate_model_cached_property(article, article.comments_count)

Висновок

Таким чином model_cached_property може використовуватися для

  • Кешування властивостей об'єктів моделей на тривалий термін, більше ніж час життя об'єкта при запиті сторінки
  • Кешування властивостей об'єктів моделей в залежності від вхідних аргументів

При цьому можуть бути встановлені обмеження

  • Даний декоратор може використовуватися тільки в моделях, тобто класів, успадкованих від models.Model
  • Кешування властивостей моделей в залежності від аргументів повинно виконуватися тільки для унікальних вхідних аргументів, інакше кешування НЕ буде коректним
Рекомендуємо хостинг TIMEWEB
Рекомендуємо хостинг TIMEWEB
Стабільний хостинг, на якому розміщується соціальна мережа EVILEG. Для проектів на Django радимо VDS хостинг.

Вам це подобається? Поділіться в соціальних мережах!

МК
  • 06 листопада 2019 р. 02:25

а functools.lru_cache в данном случае не поможет?

Evgenii Legotckoi
  • 06 листопада 2019 р. 03:16
  • (відредаговано)

Добрый день.

Думаю, что не совсем. Технически здесь решается задача кэширования не последних вызовов функции, как в lru_cache, а кэширование свойств для ряда объектов модели данных. К тому же cache_clear() будет полностью удалять весь кэш, тогда как у меня предусмотрен более специфический функционал для инвалидации части ключей, которые перестали быть актуальны.

Давайте поясню на примере.

На сайте есть модель данных ForumTopic , у которой есть лайки и дислайки, а также они подсвечиваются, если пользователь выбрал лайк или дислайк. Вся эта информация у меня кэшируется, поскольку для лайков и дислайков используются GenericForeignKey и запросы к базе данных посылаются отдельно, что получается несколько накладно для страниц со списком тем на форуме. Поэтому я предпочитаю кэшировать эти данные и при срабатывание некоторых событий делать инвалидацию кэша.

Так вот, если использовать lru_cache, то он будет кэшировать лишь n-последних вызовов метода, то есть придётся отслеживать количество контента и вручную поправлять количество последних кэширований, если решать эту задачу в лоб. А в случае очистки кэша, при вызове страниц будут заново кэшироваться все свойства для всех объектов ForumTopic. Получается ситуация, если пользователь лайкнул один единственный пост, то кэш будет очищаться для всех объектов, чего я не хочу.

model_cached_property же работает немного иначе. Он кэширует информацию о модели данных, а именно о таблице в базе данных, а также об id объекта, а потом информацию об имени свойства и входных аргументах. В результате происходит уникальное кжширование для каждого отдельного объекта.

Когда вы вызываете функцию invalidate_model_cached_property, то кэш очищается только для конкретного объекта базы данных.

Таким образом, когда пользователь лайкнет один какой-то объект ForumTopic , то кэш будет очищен только для этого ForumTopic . И при следующем запросе список объектов ForumTopic будет выполняться запрос о лайках и дислайках только для одного единственного объекта. Плюс я не беспокоюсь о том, что мне нужно думать, какой максимальный размер кэша нужно делать.

Конечно, вопрос расхода памяти на кэширование является довольно важным и если появится бутылочное горлышко, то я буду его решать. Но на данный момент я поставил у себя длительность кэширования подобных активностей, как лайки, на целый месяц и на данный момент ещё не заметил проблем.

Но если я что-то не учёл и у вас есть, что дополнить, то с удовольствием выслушаю вашу точку зрения, возможно, что это поможет доработать функциональность model_cached_property

NSProject
  • 27 травня 2022 р. 06:27
  • (відредаговано)

Всё конечно супер классно. Интересует лишь один вопрос.

NSProject
  • 28 травня 2022 р. 10:20

Здравствуйте. В общем меня интересует такой вопрос. Я пробовал это на Like , Dislike. Как я понимаю если не перевалидировать кеш то ничего не изменится на странице. Вернётся значение из кэша? Отсюда второй вопрос как и где прописть эту перевалидацию? Ибо если я пишу её через модель как сказано в статье. То ничего не происходит. По этому интересует то как и где перевалидировать кеш.

Evgenii Legotckoi
  • 30 травня 2022 р. 10:25

Да, если не вызывать invalidate_cache , то ничего не произойдёт.
Место вызова инвалидации обычно индивидуально. Но я стараюсь вешать его на сигналы сохранения и удаления объектов.

В случае с Like Dislike , которые используют GenericForeignKey удобнее всего поступить следующим образом.

Добавить метод invalidate_cache , который будет вызывать метод инвалидации content_object

class LikeDislike(...):

    ...

    def invalidate_cache(self):
        self.content_object.invalidate_like_dislike_cache()

А потом навешать инвалидацию на сигналы

# -*- coding: utf-8 -*-

from django.db.models.signals import post_save, pre_delete

from .models import LikeDislike

def cache_invalidate_activity(sender, instance, **kwargs):
    instance.invalidate_cache()

post_save.connect(cache_invalidate_activity, sender=LikeDislike)
pre_delete.connect(cache_invalidate_activity, sender=LikeDislike)

В таком случае инвалидация будет действовать на лету, главное, чтобы во всех моделях были, к которым привязываются лайки и дизлайки, были определены соответсвующие методы инвалидации.

NSProject
  • 02 червня 2022 р. 09:33

Спасибо за пояснения. Я ток щас догнал как это всё работает. Просто с сигналами не работал никогда. Но вот теперь стало понятно.

Коментарі

Only authorized users can post comments.
Please, Log in or Sign up
AD

C++ - Тест 004. Указатели, Массивы и Циклы

  • Результат:50бали,
  • Рейтинг балів-4
m
  • molni99
  • 26 жовтня 2024 р. 01:37

C++ - Тест 004. Указатели, Массивы и Циклы

  • Результат:80бали,
  • Рейтинг балів4
m
  • molni99
  • 26 жовтня 2024 р. 01:29

C++ - Тест 004. Указатели, Массивы и Циклы

  • Результат:20бали,
  • Рейтинг балів-10
Останні коментарі
i
innorwall14 листопада 2024 р. 11:42
Як скопіювати файли в Linux If only females relatives with DZ offspring were considered these percentages were 23 order priligy online uk
i
innorwall14 листопада 2024 р. 09:09
Qt/C++ - Підручник 068. Hello World за допомогою системи збирання CMAKE в CLion ditropan pristiq dosing With the Yankees leading, 4 3, Rivera jogged in from the bullpen to a standing ovation as he prepared for his final appearance in Chicago buy priligy pakistan
i
innorwall14 листопада 2024 р. 04:05
EVILEG-CORE. Використання Google reCAPTCHA 2001; 98 29 34 priligy buy
i
innorwall14 листопада 2024 р. 04:00
PyQt5 - Урок 007. Працює з QML QtQuick (Сигнали та слоти) priligy 30mg Am J Obstet Gynecol 171 1488 505
Тепер обговоріть на форумі
i
innorwall14 листопада 2024 р. 03:39
добавить qlineseries в функции priligy amazon canada 93 GREB1 protein GREB1 AB011147 6
i
innorwall11 листопада 2024 р. 10:55
Всё ещё разбираюсь с кешем. priligy walgreens levitra dulcolax carbs The third ring was found to be made up of ultra relativistic electrons, which are also present in both the outer and inner rings
9
9Anonim25 жовтня 2024 р. 09:10
Машина тьюринга // Начальное состояние 0 0, ,<,1 // Переход в состояние 1 при пустом символе 0,0,>,0 // Остаемся в состоянии 0, двигаясь вправо при встрече 0 0,1,>…
ИМ
Игорь Максимов03 жовтня 2024 р. 04:05
Реализация навигации по разделам Спасибо Евгений!

Слідкуйте за нами в соціальних мережах