Проверка загружаемого файла

Question

21 марта 2021 г. 0:11

Проверка загружаемого файла

Вопрос необходима проверка на формат и тип загружаемого файла. На форумах предлагают использовать FileExtensionValidator

как пример:

from django.core.validators import FileExtensionValidator
class Post(models.Model):
    pdf_file = models.FileField(null=True, blank=True, validators=[FileExtensionValidator(['pdf'])])

Вопрос на сколько это безопасно. Можно же переименовать расширение у любого файла

Рекомендуем хостинг TIMEWEB

Стабильный хостинг, на котором располагается социальная сеть EVILEG. Для проектов на Django рекомендуем VDS хостинг.

Подписка на обсуждение2

Подписка на раздел100

Вам это нравится? Поделитесь в социальных сетях!

1.4K

10

0

21 марта 2021 г. 2:49

это не безопасно в любом случае, так что всеравно, какой вариант используется.
я не видел ни одного валидатора, который бы смотрел код бинарника, чтобы проверять, что пришло внутри

0

23 марта 2021 г. 13:55
(ред.)

привет

по поводу вашего вопроса

если вам необходимо работать с различными форматами файлов, можно посмотреть на python-magic

https://pypi.org/project/python-magic/

кроме данной библиотеки попробуйте еше эти 2:

imghdr - https://docs.python.org/3/library/imghdr.html
fleep - https://github.com/floyernick/fleep-py

0

23 марта 2021 г. 14:26

кстати, я бы еще посоветовал быть очень осторожным с этим - если файл обрабатывается django-й, пока поток джанги обрабатывает файл, он блокируется.

поэтому, если, условно, если у вас джанга работает в 6 потоков на gunicorn и 6 пользователей грузят файлы (условные 2 Gb каждый), сервис становится недоступен для 7-го

ну и по памяти можно прилечь - если у вас всего 10Gb памяти, а 6 пользователей одновременно грузит по файлу 2Gb - ничем хорошим это не кончится. файл является inMemory объектом

0

23 марта 2021 г. 19:25
(ред.)

в принципе, справедливое ремарка

Но как идея для обхода данных ограничений можно написать отдельный сервис на питоне (отдельно от джанги) который делает только проверку/сохранение файла для модели основного приложения

более того можно смотреть в сторону асинхронности

короче по мне надо пробовать

0

23 марта 2021 г. 21:35
(ред.)

ну даже асинхронность здесь может не спасти, поскольку тогда ляжет nginx, пока будет держать файл в очереди.

достаточно красивое решение - грузить фронтом картинку куда-нибудь на s3, а на бэк передавать url (понятно, что здесь никакой проверки не может быть), но с точки зрения нагрузки - все хорошо (+ безопасность можно обеспечить через presigned url, когда для каждого загружаемого файла сначала получается одноразовая ссылка для загрузки с ограничением по размеру). либо, использовать генераторы (тут как минимум по памяти можно не лечь). тоесть, усложно говоря, не ждать весь файл, а получать его кусками. приэтом, если в первом куске определяется не тот тип - сразу прерывать загрузку файла.

хотя, я работал только со скачиванием через генераторы (вполне успешно). получалось качать несколько 6+ гиговых файлов в несколько потоков на машине с 8 Гб памяти и все не умерло=)

0

23 марта 2021 г. 21:37

мне кажется, есть смысл посмотреть какие-то js-ные либы для этого

0

24 марта 2021 г. 0:19

js-ные либы - это означает что весь груз положить на плечи фронта?

0

24 марта 2021 г. 2:41

конечно. а почему бы и нет?
клиентов много, бэк один=)

0

24 марта 2021 г. 10:56

Это все супер. Но в моем варианте нужна была просто защита от дурака. Чтобы админ(в моем случаи председатель СНТ) не запихал протокол собрания в формате какого нить ворда или жпега. Сомневаюсь что он да и ограничение по размеру стоит на 10 мб

0

24 марта 2021 г. 14:47

я думаю, если у вас нет задачи защищаться прям в круг, достаточно проверять расширение файла и не париться

0

Проверка загружаемого файла

Рекомендуем хостинг TIMEWEB

Комментарии

Actions