Руслан Волшебник
Руслан ВолшебникJan. 25, 2019, 4:50 a.m.

Оптимизация запросов Django ORM

Django, ORM, GenericForeignKey, GenericRelation

Доброго времени суток.

Я как-то задавал вопросы в комментариях под этой статьей. Для проверки, стоит ли лайк у пользователя к данной статье, был дан такой ответ:

"я написал template tag, фильтр, через который делаю проверку прямо в шаблоне

@register.filter
def user_in(objects, user):
    if user.is_authenticated:
        return objects.filter(user=user).exists()
    return False

Для этого подгружаю модуль в шаблоне и проверяю наличие пользователя в queryset

{% load users_extras %}
<span class="mdi mdi-star mr-1 {% if obj.likes.all|user_in:user %}text-success{% endif %}"></span>

Плюс в том, что могу делать такую проверку для какой угодно модели данных, у которой поле пользователя называется user. И нет никакой зависимости на ModelManager".

Теперь к сути.

Я вывожу статьи в шаблоне используя цикл.

{% for article in articles %}
{% endfor %}

В моем случае, 18 итераций в цикле.

Запросов к бд в шаблоне всего навсего три.

Так вот, используя выше приведенный способ проверки на наличие лайка, на каждой итерации выполняется запрос.

У меня идет проверка на наличие лайка/дизлайка и выводится количество лайков/дизлайков для каждой статьи.

<div class="like-icon {% if article.votes.likes.all|user_in:user %} text-success {% endif %}" data-icon="like"></div>
<div class="like-count" data-count="like">
  {{ article.votes.likes.count }}
</div>

<div class="dislike-icon {% if article.votes.disikes.all|user_in:user %} text-success {% endif %}" data-icon="dislike"></div>
<div class="dislike-count" data-count="dislike">
  {{ article.votes.dislikes.count }}
</div>

В итоге получается 72 запроса. Это слишком много.

Как все это дело оптимизировать?

We recommend hosting TIMEWEB
We recommend hosting TIMEWEB
Stable hosting, on which the social network EVILEG is located. For projects on Django we recommend VDS hosting.

Do you like it? Share on social networks!

24
Evgenii Legotckoi
  • Jan. 25, 2019, 4:55 a.m.

Добрый день!

Это можно оптимизировать через prefetch_related, сам пару недель назад пол сайта перелопатил с этой оптимизацией. К сожалению с лайками, дислайками и прочими красивостями есть такая проблема. Но полностью избавиться от большого количества запросов всё равно не выйдет. Мне нужно посмотреть исходники сайта, мне удалось местами количество запросов уменьшить с 483 до 52. Вечером подробнее отвечу.

    Руслан Волшебник
    • Jan. 25, 2019, 5:12 a.m.
    • (edited)

    Я пробовал такой способ:

    Сначала получаю массив словарей(объектов). И отправляю их в шаблон.

    likedislikes = LikeDislike.objects.filter(content_type__model='post', object_id__in=obj_ids).values()
    

    Для вывода количества лайков и дизлайков для каждой статьи, написал simple tag, в который я отправляю массив объектов (likedislikes), id статьи (object_id) и тип голоса лайк/дизлайк(1/-1) (vote).

    @register.simple_tag
    def vote_count(likedislikes, object_id, vote):
        count = 0
        for item in likedislikes:
            if item['object_id'] == object_id and item['vote'] == vote:
                count += 1
        return count
    
    <div class="like-count" data-count="like">
      {% vote_count likedislikes article.id 1 %}
    </div>
    <div class="dislike-count" data-count="dislike">
      {% vote_count likedislikes article.id -1 %}
    </div>
    

    Для проверки на наличие лайка/дизлайка, почти тоже самое:

    simple tag

    @register.simple_tag
    def user_in(likedislikes, object_id, vote, user):
        if user.is_authenticated:
            for item in likedislikes:
                if item['object_id'] == object_id and item['user_id'] == user.id and item['vote'] == vote:
                    return ''
        return 'text-success'
    
    

    В шаблоне

    <div class="like-icon {% user_in likedislikes post.id 1 user %}" data-icon="like"></div>
    
    <div class="dislike-icon {% user_in likedislikes post.id -1 user %}" data-icon="dislike"></div>
    

    В таком случае всего 1 запрос к бд.

    Я как бы не спец, только начинающий, но мне кажется, что такой вариант не очень хорош.
    Может скажете, что вы считаете на этот счет?

      Это не поможет.

      Вы в любом случае будете делать дополнительные запросы к базе данных.

      В Django все запросы являются ленивыми и выполняются в самый последний момент, когда они уже действительно нужны.

      При этом существует механизм для выполнения запросов с одновременной выборкой всех соответствущих объекту других объектов.

      Это:

      • Select Related - когда сразу выбираются объекты, на которые есть foreign key в вашем объекте
      • Prefetch Related - когда выбираются объекты, которые имеют foreign key на ваш объект

      Также можно делать агрегацию запросов, что также может уменьшить время и количество запросов.

      Я у себя для оптимизации использовал все эти варианты. Удалось выиграть где-то в 2,5 раза по времени на запросы.

      Пример

      Есть Section, Article и Comment, которые имеют foregin key на Article. При этом Article имеет foreign key на Section. В этом случае мы отображаем список статей с информацией о разделе и списком комментариев.

      Вот пример запроса для выборки всех статей в данном случае.

      Article.object.all().select_related('section').prefetch_related('comment_set')
      

      В этом случае колиечтво запросов может уменьшиться втрое.

      Тоже самое можно для начала сделать и для лайков.

      Article.object.all().prefetch_related('votes')
      

      Но там можно сделать ещё и агрегацию, чтобы получать сразу нахождение пользователя в лайках и дислайках и количество и тех и других. Но это я на память не помню. Там код посложнее будет.

        Руслан Волшебник
        • Jan. 25, 2019, 5:51 a.m.
        • (edited)

        Вы пишете "Это не поможет." Но смотрите, было так -
        sql_74_e4nXlW1.jpeg sql_74_e4nXlW1.jpeg
        и
        CPU_for_74_s0RvimJ.jpeg CPU_for_74_s0RvimJ.jpeg
        , а после моих манипуляций, описанных выше, стало так -
        sql_4_E5GPNJt.jpeg sql_4_E5GPNJt.jpeg
        и
        CPU_for_4_I73arJB.jpeg CPU_for_4_I73arJB.jpeg
        . Может я что-то не понимаю, но запросы уменьшились. Причем в 18,5 раз)

          Evgenii Legotckoi
          • Jan. 25, 2019, 6:01 a.m.
          • (edited)

          Вы не могли бы добавлять изображения через диалог добавления изображений? )))

          А, понятно, я не обратил внимание на выбору по массиву ids... Да, вы правы в данном случае. Просто получается, что у вас отдельно идёт массив лайков и дислайков. Вот только этот цикл вам может боком в будущем выйти

          for item in likedislikes:
              if item['object_id'] == object_id and item['user_id'] == user.id and item['vote'] == vote:
                  return ''
          

          Представьте, что объектов в likedislikes будет эдак 50 тысяч или больше. Думаю, что если это делать средствами базы данных, а не python, то такая проблема станет актуальной гораздо позже.

            Руслан Волшебник
            • Jan. 25, 2019, 6:45 a.m.
            • (edited)

            "Вы не могли бы добавлять изображения через диалог добавления изображений? )))".

            Да, извиняюсь)

            Попробую, ещё поэкспериментировать.

              На счет prefetch_related. Да, я пользуюсь этой штукой для ForeignKey. Но для GenericForeignKey/GenericRelation, не работает. Я попробовал и у меня просто добавился ещё 1 запрос.

                хм. надо будет у себя перепроверить. Вроде бы ситуация улучшилась с использованием prefetch_related на GenericRelation. Но если я помню правильно, то вы отказались от использования GenericRelation? Может поэтому не работает?

                  Руслан Волшебник
                  • Jan. 25, 2019, 7:41 a.m.
                  • (edited)

                  Я решил, обратно вернуть GenericRealtion, так как мне очень понравилось, что можно так легко получать все лайки/дизлайки и их количество к статьям, простыми строками)))

                  article.votes.likes()
                  article.votes.likes().count()
                  

                    Это да, а если учесть, что GenericRelation можно подключать абсолютно к любому типу контента, то вообще огонь получается.

                      Кстати, есть ещё такой вопрос. Что тогда вообще делать, если лайков миллионы? Просто интересно, как всё это дело хранит и обрабатывает тот же youtube. У них, наверное, какая-то другая система, а то обрабатывать миллиарды или даже триллионы объектов LikeDislike не реально.

                        Evgenii Legotckoi
                        • Jan. 25, 2019, 8:11 a.m.
                        • (edited)

                        Полагаю, что они это дело кэшируют и изменяют информацию только при появлении или удалении лайка.

                        К сожалению Django у меня больше хобби проект, есть ещё пара коммерческих, над которыми я работаю на данный момент, но там проекты на той стадии, когда таких нагрузок нет, поэтому веской необходимости не возникало в мехнизмах кэширования.

                        Но по факту, первое, что нужно будет делать - это кэшировать.

                        А если говорить об этом сайте, то на данный момент я до сих пор не заморачивался над подключением даже того же самого memchached. Некоторые оптимизации запросов, структуры отдачи контента, периодический рефакторинг, хостинг на VDS делают своё дело. В принципе сайт обладает достаточной отзывчивостью, даже при использовании скромных ресурсов без повсеместного кэша.

                          Руслан Волшебник
                          • Jan. 26, 2019, 6:01 a.m.
                          • (edited)

                          Я начал копаться в этих агрегациях и аннотациях. У меня получилось взять количество лайков/дизлайков по отдельности.

                          a1 = Article.objects.filter(votes__vote__gt=0).annotate(like_count=Count('votes'))
                          print(a1.values('id', 'like_count'))
                          
                          a2 = Article.objects.filter(votes__vote__lt=0).annotate(dislike_count=Count('votes'))
                          print(a2.values('id', 'dislike_count'))
                          

                          Пока не понятно как получить все вместе.

                            Руслан Волшебник
                            • Jan. 27, 2019, 5:06 a.m.
                            • (edited)

                            Добрый день!

                            Я нашел решение.

                            Вот код, который вычисляет количество лайков и дизлайков для каждой статьи и добавляет поля like_count и dislike_count к объектам article.

                            articles = Article.objects.annotate(like_count=Count('votes', filter=Q(votes__vote__gt=0))).annotate(dislike_count=Count('votes', filter=Q(votes__vote__lt=0)))
                            

                            В шаблоне

                            {{ article.like_count }}
                            {{ article.dislike_count }}
                            

                            Код, для нахождения пользователя в лайках и дизлайках. Добавляет к объектам поля like, dislike, в которых в зависимости от нахождения пользователя, будут значения 0 или 1.

                            articles = articles.annotate(like=Count('votes__user', filter=Q(votes__user=request.user) & Q(votes__vote__gt=0))).annotate(dislike=Count('votes__user',filter=Q(votes__user=request.user) & Q(votes__vote__lt=0)))
                            

                            В шаблоне

                            {% if article.like %} success {% endif %}
                            {% if article.dislike %} success {% endif %}
                            

                            Запросов к бд всего 3. Вместе они выполняются за 7-14 ms.

                            Хотелось бы узнать, что вы думаете по этому поводу. Будет ли высокая нагрузка при
                            большом количестве LikeDislike? И можно ли как-то улучшить?

                              Добрый день.

                              Минус annotate в том, что он очень медленный, лучше сделать через aggregate

                              likedislikes = obj.votes.all().aggregate(
                                  like_total=Count('id', filter=Q(vote=LikeDislike.LIKE)),
                                  like_user_in=Count('user', filter=Q(user=user, vote=LikeDislike.LIKE)),
                                  dislike_total=Count('id', filter=Q(vote=LikeDislike.DISLIKE)),
                                  dislike_user_in=Count('user', filter=Q(user=user, vote=LikeDislike.DISLIKE))
                              )
                              
                              context = {
                                  'obj': obj,
                                  'likes_count': likedislikes['like_total'],
                                  'dislikes_count': likedislikes['dislike_total'],
                                  'likes_with_user': 'text-success' if likedislikes['like_user_in'] > 0 else '',
                                  'dislikes_with_user': 'text-success' if likedislikes['dislike_user_in'] > 0 else '',
                              }
                              

                              Только заметьте,что это нормально сработает, если пользователь аутентифицирован. То есть, прежде чем делать проверку на наличие пользователя среди проголосовавших, нужно сделать проверку is_authenticated

                                В моем случае, для вывода 18 объектов, нужно внести этот код в цикл, но тогда и запросов будет 18.

                                  Evgenii Legotckoi
                                  • Jan. 29, 2019, 5:22 a.m.
                                  • The answer was marked as a solution.

                                  А здесь уже собственно начинается поиск золотой середины. Annotate методы в моём случае давали очень долгие запросы. Да, я получал один запрос, вот только длительность этого запроса была вдвое больше, чем выполнить два десятка таких агрегированных запросов. В общем, как у вас будет достаточно контента и сайт будет достаточно развит, то поиграйтесь с обоими вариантами. А там и сделаете выводы, что вам больше подходит. Один тяжёлый запрос или два десятка лёгких.

                                    Большое спасибо, теперь мне все понятно.

                                      Руслан Волшебник
                                      • April 5, 2019, 7:34 a.m.
                                      • (edited)

                                      Здравствуйте. Снова проблема с запросами.

                                      Вот такая картина, когда я в админке просто открываю страницу с пользователем.

                                      models.py

                                      class User(AbstractUser):
                                      
                                          def __str__(self):
                                              return self.username
                                      

                                      admin.py

                                      class AuthUserAdmin(admin.ModelAdmin):
                                          list_display = ("id", "username", "email")
                                          fields = ("username", "email", "date_joined", "last_login", "groups", "user_permissions", "is_active", "is_staff", "is_superuser")
                                          readonly_fields = ("date_joined", "last_login")
                                      

                                        Я заметил, что если сделать поле "user_permissions", только для чтения, то всё нормально(8 запросов).

                                          Так может быть. user_permissions - имеют достаточно сложную систему, поскольку определяют доступ пользователей в админке к определённым моделям. И там имеется возможность выбора тех или иных прав на доступ к моделям. Скорее всего вызывается несколько запросов.

                                          Только я не понимаю вашей проблемы в данном случае. Какой вообще смысл оптимизировать запросы там, где обычно простые пользователи вообще не имеют доступа? Вам эта попытка оптимизации не принесёт ровно никакой выгоды.

                                            Спасибо. Я вас понял. Видимо я просто уже "погнал" на этой оптимизации)

                                            И последний вопрос. Есть ли принципиальная разница добавлять в foreignkey объекта LikeDislike User или UserProfile? Мне просто удобнее UserProfile и добавлять в inlines объект LikeDislike, чтобы отображть сразу под профилем список голосов.

                                              На вкус и цвет все фломастеры разные, как хотите так и делайте в отношении внешнего ключа на пользователя или профиль. Лично мне удобнее внешний ключ на самого пользователя, чем на его профиль.

                                                Спасибо вам большое. Вы помогли мне в решении многих вопросов.

                                                  Comments

                                                  Only authorized users can post comments.
                                                  Please, Log in or Sign up
                                                  AD

                                                  C ++ - Test 004. Pointers, Arrays and Loops

                                                  • Result:50points,
                                                  • Rating points-4
                                                  m

                                                  C ++ - Test 004. Pointers, Arrays and Loops

                                                  • Result:80points,
                                                  • Rating points4
                                                  m

                                                  C ++ - Test 004. Pointers, Arrays and Loops

                                                  • Result:20points,
                                                  • Rating points-10
                                                  Last comments
                                                  i
                                                  innorwallNov. 12, 2024, 6:12 a.m.
                                                  Django - Tutorial 055. How to write auto populate field functionality Freckles because of several brand names retin a, atralin buy generic priligy
                                                  i
                                                  innorwallNov. 12, 2024, 2:23 a.m.
                                                  QML - Tutorial 035. Using enumerations in QML without C ++ priligy cvs 24 Together with antibiotics such as amphotericin B 10, griseofulvin 11 and streptomycin 12, chloramphenicol 9 is in the World Health Organisation s List of Essential Medici…
                                                  i
                                                  innorwallNov. 11, 2024, 11:50 p.m.
                                                  Qt/C++ - Lesson 052. Customization Qt Audio player in the style of AIMP It decreases stress, supports hormone balance, and regulates and increases blood flow to the reproductive organs buy priligy online safe Promising data were reported in a PDX model re…
                                                  i
                                                  innorwallNov. 11, 2024, 10:19 p.m.
                                                  Heap sorting algorithm The role of raloxifene in preventing breast cancer priligy precio
                                                  i
                                                  innorwallNov. 11, 2024, 9:55 p.m.
                                                  PyQt5 - Lesson 006. Work with QTableWidget buy priligy 60 mg 53 have been reported by Javanovic Santa et al
                                                  Now discuss on the forum
                                                  i
                                                  innorwallNov. 12, 2024, 4:56 a.m.
                                                  добавить qlineseries в функции buy priligy senior brother Chu He, whom he had known for many years
                                                  i
                                                  innorwallNov. 11, 2024, 6:55 p.m.
                                                  Всё ещё разбираюсь с кешем. priligy walgreens levitra dulcolax carbs The third ring was found to be made up of ultra relativistic electrons, which are also present in both the outer and inner rings
                                                  9
                                                  9AnonimOct. 25, 2024, 4:10 p.m.
                                                  Машина тьюринга // Начальное состояние 0 0, ,<,1 // Переход в состояние 1 при пустом символе 0,0,>,0 // Остаемся в состоянии 0, двигаясь вправо при встрече 0 0,1,>…

                                                  Follow us in social networks