Evgenii Legotckoi
Evgenii Legotckoi03 листопада 2019 р. 04:03

EVILEG-CORE. Кешування властивостей об'єктів моделей за допомогою model_cached_property

Для прискорення роботи сайту крім оптимізації запитів до бази даних можна використовувати і кешування.

Django дозволяє виконувати кешування:

  • Окремих view , як Class Based View , так і звичайних функцій view
  • Цілих шаблонів або їх частин
  • Цілих QuerySet
  • А також властивостей об'єктів моделей за допомогою cached_property

Мене цікавила можливість кешування окремих властивостей об'єктів моделей для важкий обчислень або важких запитів до бази даних.
Таким фукціоналом володіє декоратор cached_property , але недолік для мене полягав в тому, що кешування відбувалося лише на період життя об'єкта.
Тоді як мені потрібно кешування на більший пероід часу, ніж існування об'єкта при запиті сторінки. А також мені було потрібно кешування властивостей в залежності від вхідних аргументів. Даний декоратор на сайті кешируєт кількість лайків і діслайков, а також інформацію про те, лайкнув чи поточний користувач той чи інший об'єкт контента.

Таким чином був написаний декоратор model_cached_property


model_cached_property

Даний декоратор використовує в якості бекенд кешування redis , оскільки для інвалідаціі кеша може знадобитися видалення групи ключів, які відносяться до даного властивості. Оскільки властивість може кешуватися для різних користувачів по різному.

Установка EVILEG-CORE

pip install evileg-core

Також evileg_core підтягне всі необхідні для даного пакета залежності. У тому числі бібліотеку django-redis , яка використовується для роботи з redis .

Якщо ви ще не використовуєте у себе redis , то буде потрібно його встановити.

sudo apt install redis-server

settings.py

Додаємо evileg_core в встановлені додатки

INSTALLED_APPS = [
    ...
    'evileg_core',
]

Налаштовуємо бекенд кешування

CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": "redis://127.0.0.1:6379/1",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
        }
    }
}

Використання model_cached_property

Звичайне кешування

from evileg_core.cache.decorators import model_cached_property

class Article(models.Model):

    @model_cached_property
    def comments_count(self):
        return self.comments.count()

Даний декоратор буде кешувати кількість коментарів до статті на 60 секунд. При наступному запиті сторінки статті запит буде виконаний спочатку до кешу для конкретного об'єкта статті, і тільки якщо тривалість кеша минула, то запит буде знову виконаний до бази даних.

Установка тривалості кешування

Якщо ж ви хочете задати певний час кешування, то можете використовувати аргумент timeout у декоратора.

class Article(models.Model):

    @model_cached_property(timeout=3000)
    def comments_count(self):
        return self.comments.count()

Глобальна установка тривалості кешування

Також можна задати глобальне час кешування для всіх декораторів в файлі settings.py в секундах

MODEL_CACHED_PROPERTY_TIMEOUT = 300000

Використання властивостей з аргументами

А тепер найцікавіше. Кешування властивостей з аргументами, завдяки якому можна кешувати результат за допомогою інформації про вхідних аргуметом властивості моделі даних.

Це є як перевагою даного декоратора, так і його недоліком. Справа в тому, щоб кешування було коректним, необхідно, щоб вхідні аргументи були унікальними. Наприклад, якщо вхідні аргументи є тимчасовими неунікальні об'єктами, як AnonymousUser , то кешування не працюватиме.

Проте, декоратор може використовуватися для кешування в залежності від користувача. Це може виглядати наступним чином.

class Article(models.Model):

    @model_cached_property
    def __user_in_bookmarks(self, user):
        return self.bookmarks.filter(user=user).exists()

    def user_in_bookmarks(self, user):
        return self.__user_in_bookmarks(user) if user.is_authenticated else False

Зверніть увагу, що тут є перевірка на user.is_authenticated , оскільки кешування нерозпізнаних користувачів не працюватиме коректно, однак буде працювати коректно для аутентифицированного користувача, оскільки аутентіфіцированний користувач є унікальним об'єктом.

Інвалідація кеша

У тому випадку, якщо кеш став неактуальним завчасно закінчення його життя, то ви можете скористатися функцією invalidate_model_cached_property

from evileg_core.cache.utils import invalidate_model_cached_property

class Article(models.Model):

    def invalidate_cache(self):
        invalidate_model_cached_property(self, self.comments_count)

Для коректної інвалідаціі кешу необхідно передати об'єкт, кеш якого необхідно очистити, а також метод цього об'єкта.

Це може виглядати також і таким чином

article = get_object_or_404(Article, pk=12)
invalidate_model_cached_property(article, article.comments_count)

Висновок

Таким чином model_cached_property може використовуватися для

  • Кешування властивостей об'єктів моделей на тривалий термін, більше ніж час життя об'єкта при запиті сторінки
  • Кешування властивостей об'єктів моделей в залежності від вхідних аргументів

При цьому можуть бути встановлені обмеження

  • Даний декоратор може використовуватися тільки в моделях, тобто класів, успадкованих від models.Model
  • Кешування властивостей моделей в залежності від аргументів повинно виконуватися тільки для унікальних вхідних аргументів, інакше кешування НЕ буде коректним
Рекомендуємо хостинг TIMEWEB
Рекомендуємо хостинг TIMEWEB
Стабільний хостинг, на якому розміщується соціальна мережа EVILEG. Для проектів на Django радимо VDS хостинг.

Вам це подобається? Поділіться в соціальних мережах!

МК
  • 06 листопада 2019 р. 02:25

а functools.lru_cache в данном случае не поможет?

Evgenii Legotckoi
  • 06 листопада 2019 р. 03:16
  • (відредаговано)

Добрый день.

Думаю, что не совсем. Технически здесь решается задача кэширования не последних вызовов функции, как в lru_cache, а кэширование свойств для ряда объектов модели данных. К тому же cache_clear() будет полностью удалять весь кэш, тогда как у меня предусмотрен более специфический функционал для инвалидации части ключей, которые перестали быть актуальны.

Давайте поясню на примере.

На сайте есть модель данных ForumTopic , у которой есть лайки и дислайки, а также они подсвечиваются, если пользователь выбрал лайк или дислайк. Вся эта информация у меня кэшируется, поскольку для лайков и дислайков используются GenericForeignKey и запросы к базе данных посылаются отдельно, что получается несколько накладно для страниц со списком тем на форуме. Поэтому я предпочитаю кэшировать эти данные и при срабатывание некоторых событий делать инвалидацию кэша.

Так вот, если использовать lru_cache, то он будет кэшировать лишь n-последних вызовов метода, то есть придётся отслеживать количество контента и вручную поправлять количество последних кэширований, если решать эту задачу в лоб. А в случае очистки кэша, при вызове страниц будут заново кэшироваться все свойства для всех объектов ForumTopic. Получается ситуация, если пользователь лайкнул один единственный пост, то кэш будет очищаться для всех объектов, чего я не хочу.

model_cached_property же работает немного иначе. Он кэширует информацию о модели данных, а именно о таблице в базе данных, а также об id объекта, а потом информацию об имени свойства и входных аргументах. В результате происходит уникальное кжширование для каждого отдельного объекта.

Когда вы вызываете функцию invalidate_model_cached_property, то кэш очищается только для конкретного объекта базы данных.

Таким образом, когда пользователь лайкнет один какой-то объект ForumTopic , то кэш будет очищен только для этого ForumTopic . И при следующем запросе список объектов ForumTopic будет выполняться запрос о лайках и дислайках только для одного единственного объекта. Плюс я не беспокоюсь о том, что мне нужно думать, какой максимальный размер кэша нужно делать.

Конечно, вопрос расхода памяти на кэширование является довольно важным и если появится бутылочное горлышко, то я буду его решать. Но на данный момент я поставил у себя длительность кэширования подобных активностей, как лайки, на целый месяц и на данный момент ещё не заметил проблем.

Но если я что-то не учёл и у вас есть, что дополнить, то с удовольствием выслушаю вашу точку зрения, возможно, что это поможет доработать функциональность model_cached_property

NSProject
  • 27 травня 2022 р. 06:27
  • (відредаговано)

Всё конечно супер классно. Интересует лишь один вопрос.

NSProject
  • 28 травня 2022 р. 10:20

Здравствуйте. В общем меня интересует такой вопрос. Я пробовал это на Like , Dislike. Как я понимаю если не перевалидировать кеш то ничего не изменится на странице. Вернётся значение из кэша? Отсюда второй вопрос как и где прописть эту перевалидацию? Ибо если я пишу её через модель как сказано в статье. То ничего не происходит. По этому интересует то как и где перевалидировать кеш.

Evgenii Legotckoi
  • 30 травня 2022 р. 10:25

Да, если не вызывать invalidate_cache , то ничего не произойдёт.
Место вызова инвалидации обычно индивидуально. Но я стараюсь вешать его на сигналы сохранения и удаления объектов.

В случае с Like Dislike , которые используют GenericForeignKey удобнее всего поступить следующим образом.

Добавить метод invalidate_cache , который будет вызывать метод инвалидации content_object

class LikeDislike(...):

    ...

    def invalidate_cache(self):
        self.content_object.invalidate_like_dislike_cache()

А потом навешать инвалидацию на сигналы

# -*- coding: utf-8 -*-

from django.db.models.signals import post_save, pre_delete

from .models import LikeDislike

def cache_invalidate_activity(sender, instance, **kwargs):
    instance.invalidate_cache()

post_save.connect(cache_invalidate_activity, sender=LikeDislike)
pre_delete.connect(cache_invalidate_activity, sender=LikeDislike)

В таком случае инвалидация будет действовать на лету, главное, чтобы во всех моделях были, к которым привязываются лайки и дизлайки, были определены соответсвующие методы инвалидации.

NSProject
  • 02 червня 2022 р. 09:33

Спасибо за пояснения. Я ток щас догнал как это всё работает. Просто с сигналами не работал никогда. Но вот теперь стало понятно.

Коментарі

Only authorized users can post comments.
Please, Log in or Sign up
OI
  • Ora Iro
  • 24 грудня 2024 р. 06:38

C++ - Тест 001. Первая программа и типы данных

  • Результат:40бали,
  • Рейтинг балів-8
AD

C++ - Тест 004. Указатели, Массивы и Циклы

  • Результат:50бали,
  • Рейтинг балів-4
m
  • molni99
  • 26 жовтня 2024 р. 01:37

C++ - Тест 004. Указатели, Массивы и Циклы

  • Результат:80бали,
  • Рейтинг балів4
Останні коментарі
ИМ
Игорь Максимов22 листопада 2024 р. 11:51
Django - Підручник 017. Налаштуйте сторінку входу до Django Добрый вечер Евгений! Я сделал себе авторизацию аналогичную вашей, все работает, кроме возврата к предидущей странице. Редеректит всегда на главную, хотя в логах сервера вижу запросы на правильн…
Evgenii Legotckoi
Evgenii Legotckoi31 жовтня 2024 р. 14:37
Django - Урок 064. Як написати розширення для Python Markdown Добрый день. Да, можно. Либо через такие же плагины, либо с постобработкой через python библиотеку Beautiful Soup
A
ALO1ZE19 жовтня 2024 р. 08:19
Читалка файлів fb3 на Qt Creator Подскажите как это запустить? Я не шарю в программировании и кодинге. Скачал и установаил Qt, но куча ошибок выдается и не запустить. А очень надо fb3 переконвертировать в html
ИМ
Игорь Максимов05 жовтня 2024 р. 07:51
Django - Урок 064. Як написати розширення для Python Markdown Приветствую Евгений! У меня вопрос. Можно ли вставлять свои классы в разметку редактора markdown? Допустим имея стандартную разметку: <ul> <li></li> <li></l…
d
dblas505 липня 2024 р. 11:02
QML - Урок 016. База даних SQLite та робота з нею в QML Qt Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
Тепер обговоріть на форумі
Donald Randolph
Donald Randolph30 грудня 2024 р. 02:59
Personal Injury lawyer Santa Monica As an experienced Santa Monica personal injury lawyer, Donald C. Randolph has recovered over $100 Million in verdicts and settlements for our clients. In severe injury cases, this compensation i…
Nirvana Yoga School
Nirvana Yoga School30 грудня 2024 р. 05:13
OAuth2.0 через VK, получение email Nirvana Yoga School is one of the most trusted and reputed traditional Rishikesh yoga courses , India certified by Yoga Alliance, USA. We aim to spread traditional yoga teachings so t…
s
sripark30 грудня 2024 р. 04:47
Mobile app development company in Chennai A Mobile app development company in Chennai focuses on creating personalized mobile applications to meet various business requirements. These companies offer a full range of services,…
a
amit8830 грудня 2024 р. 04:45
Excel in Exams with PSLE Maths Tuition Singapore Preparing for the PSLE can be challenging, but the right guidance makes all the difference. PSLE Maths tuition Singapore offers personalized coaching to help students master key concepts, improv…
a
awinash6230 грудня 2024 р. 04:23
Unlock Your Potential with the Certified Public Accountant Credential" Becoming a Certified Public Accountant (CPA) is a career milestone that opens doors to unparalleled opportunities in the world of accounting and finance. This globally recognized qualification s…

Слідкуйте за нами в соціальних мережах