Как уменьшить количество запросов в Django ORM?

Django, ORM, DataBase

# models.py
class Question(models.Model):
    EASY = 1
    MEDIUM = 2
    HARD = 3

    DIFFICULTY_CHOICES = (
        (EASY, 'Легкий'),
        (MEDIUM, 'Средний'),
        (HARD, 'Сложный')
    )

    text = models.TextField(max_length=300, null=True, verbose_name='текст вопроса')
    categories = models.ManyToManyField(Category, related_name="questions", verbose_name='категории')
    difficulty = models.PositiveSmallIntegerField(choices=DIFFICULTY_CHOICES, default=MEDIUM, verbose_name='сложность')

questions = None

for category in categories:
    category_id = category['id']

    easy_question_count = category['easy_question_count']
    medium_question_count = category['medium_question_count']
    hard_question_count = category['hard_question_count']

    easy_questions = Question.objects.filter(categories__id=category_id, difficulty=1)
    medium_questions = Question.objects.filter(categories__id=category_id, difficulty=2)
    hard_questions = Question.objects.filter(categories__id=category_id, difficulty=3)

    q1 = easy_questions.objects.random(easy_question_count)
    q2 = medium_questions.objects.random(medium_question_count)
    q3 = hard_questions.objects.random(hard_question_count)

    if questions:
        questions = questions.union(q1).union(q2).union(q3)
    else:
        questions = q1.union(q2).union(q3)

We recommend hosting TIMEWEB

Stable hosting, on which the social network EVILEG is located. For projects on Django we recommend VDS hosting.

Добрый день,

Я правильно понимаю, что вы в итоге сваливаете в кучу все вопросы в объект questions?

Возможно, что стоит это переписать иначе, например так

questions = None

easy_questions = Question.objects.filter(categories__in=categories, difficulty=1)
medium_questions = Question.objects.filter(categories__in=categories, difficulty=2)
hard_questions = Question.objects.filter(categories__in=categories, difficulty=3)

q1 = easy_questions.objects.random(easy_questions.count())
q2 = medium_questions.objects.random(medium_questions.count())
q3 = hard_questions.objects.random(hard_questions.count())

questions = q1.union(q2).union(q3)

Ну а если вам нужно просто срандомизировать всё в одной куче, то я бы так попробовал написать

questions = Question.objects.filter(categories__in=categories)
questions = questions.objects.random(questions.count())

-"Я правильно понимаю, что вы в итоге сваливаете в кучу все вопросы в объект questions?"
-Да. Это для дальнейших манипуляций) Возможно, переделаю.

Проблема в том, что для каждой категории нужно разное кол-во вопросов.
Например:
Категория биология, 1 легкий вопрос, 2 средних и 3 сложных;
Категория математика, 2 легких, 2 средних и 2 сложных....и т.д.

Кстати, сделать случайный порядок можно крайне просто:

Question.objects.all().order_by('?')

Документация

Вообще, я слабо понял задачу. Если чуть более понятно сможете описать ее, возможно, смогу помочь

На stackoverflow пишут, что это дорогая операция и лучше по-другому.
В доках пишут:
Note: order_by('?') queries may be expensive and slow, depending on the database backend you’re using.

Я конечно не спец(всего лишь любитель), но я попробую таким способ тоже, может в моем случае будет всё норм.

На счёт задачи.
Есть, к примеру, категории: биология, математика, физика...и т.д.
В каждой категории есть вопросы. У всех вопросов есть сложность от 1 до 3.

Нужно вот что.
Из категории физика нужно достать в случайном порядке 3 легких вопроса, 2 средних и 1 сложный;
Из категории математика 1 легкий, 3 средних, 2 сложных. Тоже в случайном порядке .

Моя проблема в том, что чем больше категорий, тем больше запросов.
Если нужно сделать поиск вопросов только по 1-ой категории, то 6 запросов, по 2-ум категориям 12 запросов и т.д.

Хотелось бы, чтобы при увеличении количества категорий, количество запросов не увеличивалось.

Руслан, посмотрите исходники той библиотеки, которую вы использовали. Там как раз и используется order_by('?') в конечном итоге, а ещё перед этим используется агрегация id всех объектов в queryset. Метод aggregate , кстати, тоже достаточно дорогой, я стараюсь избегать его или кешировать.

Так что в методе random , который выполняет данная библиотека используется сразу два дорогостоящих запроса, хорошо хоть там нет distinct , иначе совсем вилы были бы.

Я вашу задачу понял, но вопрос действительно сложный, пока мыслей нет.

К слову говоря, этот метод order_by('?') мне кажется относительно рандомным, поскольку он выполняет сортировку по случайному столбцу и в случайном направлении (по алфавиту/ против алфавита), если я правильно понял его суть. В общем он настолько рандомный, сколько у вас полей в модели.

Да, я посмотрел, вы абсолютно правы. Единственное, если я правильно понял, если срабатывает условие

if (aggregates["max_id"] - aggregates["min_id"]) + 1 == aggregates["count"]:
    return self.filter(
        id__in=strategies.min_max(
            amount,
            aggregates["min_id"],
            aggregates["max_id"],
            aggregates["count"],
        )
    )

то он возвращает QuerySet минуя order_by('?').

В общем, пока что я решил отказаться от этой затеи, и сделал выбор количества легких, средних и сложных вопросов не для каждой категории отдельно, а для всех.

И да, после использования union, нельзя юзать filter, а так как мне нужно потом отфильтровать ещё раз, то я сделал так

easy_question_count = quiz.easy_question_count
medium_question_count = quiz.medium_question_count
hard_question_count = quiz.hard_question_count

easy_questions = questions.filter(difficulty=1)
medium_questions = questions.filter(difficulty=2)
hard_questions = questions.filter(difficulty=3)

easy_questions = get_random_questions(easy_questions, easy_question_count)
medium_questions = get_random_questions(medium_questions, medium_question_count)
hard_questions = get_random_questions(hard_questions, hard_question_count)

question_ids = easy_questions.union(medium_questions).union(hard_questions).values_list('id', flat=True)
questions = questions.filter(id__in=question_ids)

А для получения рандомных вопросов нужного мне количества написал вот такую функцию.

def get_random_questions(questions, question_count):
    question_id_array = list(questions.values_list('id', flat=True))
    random_ids = random.sample(question_id_array, min(len(question_id_array), question_count))
    questions = questions.filter(id__in=random_ids)
    return questions

Получилось всего 5 запросов.

Готов выслушать критику, если есть)