Evgenii Legotckoi
Evgenii Legotckoi03 листопада 2019 р. 04:03

EVILEG-CORE. Кешування властивостей об'єктів моделей за допомогою model_cached_property

Для прискорення роботи сайту крім оптимізації запитів до бази даних можна використовувати і кешування.

Django дозволяє виконувати кешування:

  • Окремих view , як Class Based View , так і звичайних функцій view
  • Цілих шаблонів або їх частин
  • Цілих QuerySet
  • А також властивостей об'єктів моделей за допомогою cached_property

Мене цікавила можливість кешування окремих властивостей об'єктів моделей для важкий обчислень або важких запитів до бази даних.
Таким фукціоналом володіє декоратор cached_property , але недолік для мене полягав в тому, що кешування відбувалося лише на період життя об'єкта.
Тоді як мені потрібно кешування на більший пероід часу, ніж існування об'єкта при запиті сторінки. А також мені було потрібно кешування властивостей в залежності від вхідних аргументів. Даний декоратор на сайті кешируєт кількість лайків і діслайков, а також інформацію про те, лайкнув чи поточний користувач той чи інший об'єкт контента.

Таким чином був написаний декоратор model_cached_property


model_cached_property

Даний декоратор використовує в якості бекенд кешування redis , оскільки для інвалідаціі кеша може знадобитися видалення групи ключів, які відносяться до даного властивості. Оскільки властивість може кешуватися для різних користувачів по різному.

Установка EVILEG-CORE

pip install evileg-core

Також evileg_core підтягне всі необхідні для даного пакета залежності. У тому числі бібліотеку django-redis , яка використовується для роботи з redis .

Якщо ви ще не використовуєте у себе redis , то буде потрібно його встановити.

sudo apt install redis-server

settings.py

Додаємо evileg_core в встановлені додатки

INSTALLED_APPS = [
    ...
    'evileg_core',
]

Налаштовуємо бекенд кешування

CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": "redis://127.0.0.1:6379/1",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
        }
    }
}

Використання model_cached_property

Звичайне кешування

from evileg_core.cache.decorators import model_cached_property

class Article(models.Model):

    @model_cached_property
    def comments_count(self):
        return self.comments.count()

Даний декоратор буде кешувати кількість коментарів до статті на 60 секунд. При наступному запиті сторінки статті запит буде виконаний спочатку до кешу для конкретного об'єкта статті, і тільки якщо тривалість кеша минула, то запит буде знову виконаний до бази даних.

Установка тривалості кешування

Якщо ж ви хочете задати певний час кешування, то можете використовувати аргумент timeout у декоратора.

class Article(models.Model):

    @model_cached_property(timeout=3000)
    def comments_count(self):
        return self.comments.count()

Глобальна установка тривалості кешування

Також можна задати глобальне час кешування для всіх декораторів в файлі settings.py в секундах

MODEL_CACHED_PROPERTY_TIMEOUT = 300000

Використання властивостей з аргументами

А тепер найцікавіше. Кешування властивостей з аргументами, завдяки якому можна кешувати результат за допомогою інформації про вхідних аргуметом властивості моделі даних.

Це є як перевагою даного декоратора, так і його недоліком. Справа в тому, щоб кешування було коректним, необхідно, щоб вхідні аргументи були унікальними. Наприклад, якщо вхідні аргументи є тимчасовими неунікальні об'єктами, як AnonymousUser , то кешування не працюватиме.

Проте, декоратор може використовуватися для кешування в залежності від користувача. Це може виглядати наступним чином.

class Article(models.Model):

    @model_cached_property
    def __user_in_bookmarks(self, user):
        return self.bookmarks.filter(user=user).exists()

    def user_in_bookmarks(self, user):
        return self.__user_in_bookmarks(user) if user.is_authenticated else False

Зверніть увагу, що тут є перевірка на user.is_authenticated , оскільки кешування нерозпізнаних користувачів не працюватиме коректно, однак буде працювати коректно для аутентифицированного користувача, оскільки аутентіфіцированний користувач є унікальним об'єктом.

Інвалідація кеша

У тому випадку, якщо кеш став неактуальним завчасно закінчення його життя, то ви можете скористатися функцією invalidate_model_cached_property

from evileg_core.cache.utils import invalidate_model_cached_property

class Article(models.Model):

    def invalidate_cache(self):
        invalidate_model_cached_property(self, self.comments_count)

Для коректної інвалідаціі кешу необхідно передати об'єкт, кеш якого необхідно очистити, а також метод цього об'єкта.

Це може виглядати також і таким чином

article = get_object_or_404(Article, pk=12)
invalidate_model_cached_property(article, article.comments_count)

Висновок

Таким чином model_cached_property може використовуватися для

  • Кешування властивостей об'єктів моделей на тривалий термін, більше ніж час життя об'єкта при запиті сторінки
  • Кешування властивостей об'єктів моделей в залежності від вхідних аргументів

При цьому можуть бути встановлені обмеження

  • Даний декоратор може використовуватися тільки в моделях, тобто класів, успадкованих від models.Model
  • Кешування властивостей моделей в залежності від аргументів повинно виконуватися тільки для унікальних вхідних аргументів, інакше кешування НЕ буде коректним
Рекомендуємо хостинг TIMEWEB
Рекомендуємо хостинг TIMEWEB
Стабільний хостинг, на якому розміщується соціальна мережа EVILEG. Для проектів на Django радимо VDS хостинг.

Вам це подобається? Поділіться в соціальних мережах!

МК
  • 06 листопада 2019 р. 02:25

а functools.lru_cache в данном случае не поможет?

Evgenii Legotckoi
  • 06 листопада 2019 р. 03:16
  • (відредаговано)

Добрый день.

Думаю, что не совсем. Технически здесь решается задача кэширования не последних вызовов функции, как в lru_cache, а кэширование свойств для ряда объектов модели данных. К тому же cache_clear() будет полностью удалять весь кэш, тогда как у меня предусмотрен более специфический функционал для инвалидации части ключей, которые перестали быть актуальны.

Давайте поясню на примере.

На сайте есть модель данных ForumTopic , у которой есть лайки и дислайки, а также они подсвечиваются, если пользователь выбрал лайк или дислайк. Вся эта информация у меня кэшируется, поскольку для лайков и дислайков используются GenericForeignKey и запросы к базе данных посылаются отдельно, что получается несколько накладно для страниц со списком тем на форуме. Поэтому я предпочитаю кэшировать эти данные и при срабатывание некоторых событий делать инвалидацию кэша.

Так вот, если использовать lru_cache, то он будет кэшировать лишь n-последних вызовов метода, то есть придётся отслеживать количество контента и вручную поправлять количество последних кэширований, если решать эту задачу в лоб. А в случае очистки кэша, при вызове страниц будут заново кэшироваться все свойства для всех объектов ForumTopic. Получается ситуация, если пользователь лайкнул один единственный пост, то кэш будет очищаться для всех объектов, чего я не хочу.

model_cached_property же работает немного иначе. Он кэширует информацию о модели данных, а именно о таблице в базе данных, а также об id объекта, а потом информацию об имени свойства и входных аргументах. В результате происходит уникальное кжширование для каждого отдельного объекта.

Когда вы вызываете функцию invalidate_model_cached_property, то кэш очищается только для конкретного объекта базы данных.

Таким образом, когда пользователь лайкнет один какой-то объект ForumTopic , то кэш будет очищен только для этого ForumTopic . И при следующем запросе список объектов ForumTopic будет выполняться запрос о лайках и дислайках только для одного единственного объекта. Плюс я не беспокоюсь о том, что мне нужно думать, какой максимальный размер кэша нужно делать.

Конечно, вопрос расхода памяти на кэширование является довольно важным и если появится бутылочное горлышко, то я буду его решать. Но на данный момент я поставил у себя длительность кэширования подобных активностей, как лайки, на целый месяц и на данный момент ещё не заметил проблем.

Но если я что-то не учёл и у вас есть, что дополнить, то с удовольствием выслушаю вашу точку зрения, возможно, что это поможет доработать функциональность model_cached_property

NSProject
  • 27 травня 2022 р. 06:27
  • (відредаговано)

Всё конечно супер классно. Интересует лишь один вопрос.

NSProject
  • 28 травня 2022 р. 10:20

Здравствуйте. В общем меня интересует такой вопрос. Я пробовал это на Like , Dislike. Как я понимаю если не перевалидировать кеш то ничего не изменится на странице. Вернётся значение из кэша? Отсюда второй вопрос как и где прописть эту перевалидацию? Ибо если я пишу её через модель как сказано в статье. То ничего не происходит. По этому интересует то как и где перевалидировать кеш.

Evgenii Legotckoi
  • 30 травня 2022 р. 10:25

Да, если не вызывать invalidate_cache , то ничего не произойдёт.
Место вызова инвалидации обычно индивидуально. Но я стараюсь вешать его на сигналы сохранения и удаления объектов.

В случае с Like Dislike , которые используют GenericForeignKey удобнее всего поступить следующим образом.

Добавить метод invalidate_cache , который будет вызывать метод инвалидации content_object

class LikeDislike(...):

    ...

    def invalidate_cache(self):
        self.content_object.invalidate_like_dislike_cache()

А потом навешать инвалидацию на сигналы

# -*- coding: utf-8 -*-

from django.db.models.signals import post_save, pre_delete

from .models import LikeDislike

def cache_invalidate_activity(sender, instance, **kwargs):
    instance.invalidate_cache()

post_save.connect(cache_invalidate_activity, sender=LikeDislike)
pre_delete.connect(cache_invalidate_activity, sender=LikeDislike)

В таком случае инвалидация будет действовать на лету, главное, чтобы во всех моделях были, к которым привязываются лайки и дизлайки, были определены соответсвующие методы инвалидации.

NSProject
  • 02 червня 2022 р. 09:33

Спасибо за пояснения. Я ток щас догнал как это всё работает. Просто с сигналами не работал никогда. Но вот теперь стало понятно.

Коментарі

Only authorized users can post comments.
Please, Log in or Sign up
Дмитрий

C++ - Тест 004. Указатели, Массивы и Циклы

  • Результат:60бали,
  • Рейтинг балів-1
Дмитрий

C++ - Тест 003. Условия и циклы

  • Результат:92бали,
  • Рейтинг балів8
d
  • dsfs
  • 26 квітня 2024 р. 14:56

C++ - Тест 004. Указатели, Массивы и Циклы

  • Результат:80бали,
  • Рейтинг балів4
Останні коментарі
k
kmssr09 лютого 2024 р. 05:43
Qt Linux - Урок 001. Автозапуск програми Qt під Linux как сделать автозапуск для флэтпака, который не даёт создавать файлы в ~/.config - вот это вопрос ))
АК
Анатолий Кононенко05 лютого 2024 р. 12:50
Qt WinAPI - Урок 007. Робота з ICMP Ping в Qt Без строки #include <QRegularExpressionValidator> в заголовочном файле не работает валидатор.
EVA
EVA25 грудня 2023 р. 21:30
Boost - статичне зв&#39;язування в проекті CMake під Windows Ошибка LNK1104 часто возникает, когда компоновщик не может найти или открыть файл библиотеки. В вашем случае, это файл libboost_locale-vc142-mt-gd-x64-1_74.lib из библиотеки Boost для C+…
J
JonnyJo25 грудня 2023 р. 19:38
Boost - статичне зв&#39;язування в проекті CMake під Windows Сделал всё по-как у вас, но выдаёт ошибку [build] LINK : fatal error LNK1104: не удается открыть файл "libboost_locale-vc142-mt-gd-x64-1_74.lib" Хоть убей, не могу понять в чём дел…
G
Gvozdik19 грудня 2023 р. 08:01
Qt/C++ - Урок 056. Підключення бібліотеки Boost в Qt для компіляторів MinGW і MSVC Для решения твой проблемы добавь в файл .pro строчку "LIBS += -lws2_32" она решит проблему , лично мне помогло.
Тепер обговоріть на форумі
G
George1307 травня 2024 р. 10:27
добавить qlineseries в функции в функции: "GPlotter::addSeries(QString title, QVector &arr)" я вызываю метод setChart(...), я в конструктор передал адрес на QChartView элемент
BlinCT
BlinCT05 травня 2024 р. 15:46
Написать свой GraphsView Всем привет. В Qt есть давольно старый обьект дял работы с графиками ChartsView и есть в 6.7 новый но очень сырой и со слабым функционалом GraphsView. По этой причине я хочу написать х…
PS
Peter Son04 травня 2024 р. 03:57
Best Indian Food Restaurant In Cincinnati OH Ready to embark on a gastronomic journey like no other? Join us at App india restaurant and discover why we're renowned as the Best Indian Food Restaurant In Cincinnati OH . Whether y…
Evgenii Legotckoi
Evgenii Legotckoi03 травня 2024 р. 00:07
Мобильное приложение на C++Qt и бэкенд к нему на Django Rest Framework Добрый день. По моему мнению - да, но то, что будет касаться вызовов к функционалу Андроида, может создать огромные трудности.
IscanderChe
IscanderChe30 квітня 2024 р. 14:22
Во Flask рендер шаблона не передаётся в браузер Доброе утро! Имеется вот такой шаблон: <!doctype html><html> <head> <title>{{ title }}</title> <link rel="stylesheet" href="{{ url_…

Слідкуйте за нами в соціальних мережах