ИМ
Игорь МаксимовDec. 11, 2018, 6:56 a.m.
django и celery на разных серверах
Доброго времени суток. Интересует такой вопрос как разнести приложение django и приложение celery на разные сервера.
Тоесть имею:
2 сервера в одной локальной сети web-server и storage. web-server у меня выполняет роль собственно веб-сервера с приложением, а storage выполняет роль хранилища для видео-контента. Сейчас у меня на web-server крутится приложение, celery+redis+ffmpeg(связка для конвертирования видео-контента). storage же сейчас выполнят только роль хранилища.
Хочу распределить нагрузку на 2 сервера чтобы операция конвертирования велась не на web-server а на storage.
Каким образом это все можно организовать?
![We recommend hosting TIMEWEB](/media/technical_storage/timeweb-120-90.jpg)
We recommend hosting TIMEWEB
Stable hosting, on which the social network EVILEG is located. For projects on Django we recommend VDS hosting.Do you like it? Share on social networks!
Last comments
How to Copy Files in Linux Задумывались когда-нибудь о том, как мы привыкли доверять свои вещи службам грузоперевозок? Сейчас такие услуги стали неотъемлемой частью нашей жизни, особенно когда речь идет о переездах между …
ВР
How to Copy Files in Linux Screenshot_20240802-065123.png
Влад РусоковAug. 2, 2024, 11:47 a.m.
QML - Lesson 016. SQLite database and the working with it in QML Qt Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
Qt Linux - Lesson 001. Autorun Qt application under Linux как сделать автозапуск для флэтпака, который не даёт создавать файлы в ~/.config - вот это вопрос ))
АК
Qt WinAPI - Lesson 007. Working with ICMP Ping in Qt Без строки #include <QRegularExpressionValidator> в заголовочном файле не работает валидатор.
Анатолий КононенкоFeb. 5, 2024, 12:50 p.m.
Now discuss on the forum
![Evgenii Legotckoi](/media/cache/5a/49/5a499b0c8eb5e79957fec0aea35e5d98.webp)
Evgenii LegotckoiJune 25, 2024, 1:11 a.m.
при создании qml проекта Kits есть но недоступны для выбора Поставил Qt Creator 11.0.2. Qt 6.4.3 При создании проекта Qml не могу выбрать Kits, они все недоступны, хотя настроены и при создании обычного Qt Widget приложения их можно выбрать. В чем может …
![BlinCT](/media/cache/ae/4a/ae4a65663ccbf14aec7b31a6df3f29a6.webp)
BlinCTJune 25, 2024, 11 a.m.
![BlinCT](/media/cache/ae/4a/ae4a65663ccbf14aec7b31a6df3f29a6.webp)
BlinCTMay 5, 2024, 3:46 p.m.
![Evgenii Legotckoi](/media/cache/5a/49/5a499b0c8eb5e79957fec0aea35e5d98.webp)
Evgenii LegotckoiMay 3, 2024, 12:07 a.m.
Добрый день.
Я пока с такой задачей не сталкивался, но когда столкнусь, то первое, что сделаю, то просто подниму оба инстанса приложения на обоих серверах. Если весь бэкенд написан в одном приложении web+celery.
И просто разнесу нагрузку с помощью nginx. Для команд конвертирования должны быть в данном случае отдельные вьюшки сделаны, а nginx будет отправлять запросы конвертирования в сторону сервера storage. Но это если у вас бэкенд web приложения отвечает за старт конвертирования и т.д.
Запросы в данном случае правильно будет через nginx маршрутизировать.
А потом уже спокойно написал бы полностью отдельное приложение, которое будет отвечать за всю эту кухню по конвертации.
У вас не получится передать нормально сообщение в целери на другом сервере. Даже если будет один и тот же проект на разных хостах. Как вариант - вынести логику обработки в отдельное приложение, его разместить на втором сервере и снабдить каким-нибудь API. И заставить первое приложение отсылать запрос на второй сервер для запуска какой-либо обработки.
Теоретически, можно просто через nginx слать все запросы, касающиеся загрузки, конвертации и работы с celery в сторону storage сервера.
Это должно работать, если не смешивать одно с другим на одном сервере. Фактически одно приложение и будет получаться.
В противном случае не работал бы вариант с большим количеством серверов и большим количеством инстансов приложения для балансировки нагрузки. А я уверен, что у того же самого инстаграмма, который также базируется на Django имеются подобные варианты.
Я тут подумал:
Допустим, мы разворачиваем один и тот же проект на двух тачках. На одной из них запускаем redis, rabbitmq. при этом рэбита мы запускаем в сетевом режиме: https://www.rabbitmq.com/networking.html (только при условии, что тачка с рэбитом не светит наружу, иначе дыра в безопасности). оба проекта смотрят на рэббита на второй машине. celery workers запускаются на второй машине.
впринципе должно работать=)
Главное, чтобы машина с рэббитом была недоступна извне, только с первой.
Пожалуй либо так, не пробовал, но примерно о таком и думал. Просто в тачку с рэббитом можно пускать через шлюзовой nginx на первой машине только по определённым запросам например.
Да, так все работает. Спасибо вам.
Еще маленький вопросик по проекту на 2 серверах: Если мысль их синхронизировать средствами rsync или же монтировать средствами nfs с первого сервера на второй?
Имеете в виду, чтобы код проекта размазывался по обоим серверам?
Если да, то категорически не советую.
Запуская сервер джанго через гуникорн, он полностью инициализирует проект. Если в этот момент синхронизация не закончилась - все, приехали.
Вариант с NFS - дополнительная нагрузка на сеть. (Правда это всего лишь попытка отговорить=))
В целом, есть ряд проблем и возможных проблем :
Варианты решения проблемы:
для баш скрипта - все крайне просто:
=)
НАПИСАНИЕ СКРИПТОВ НА BASH
ФУНКЦИИ BASH В СКРИПТАХ
кстати, опять же, этот скрипт будет очень удобно хранить в репозитории. так будет возможность из любого места запустить процесс (в отличии от ансибла, где он должен быть установлен и сконфигурирован на машине, с которой запускается процесс)
кстати, списки странно рендерятся из маркдауна=) там с красивым супом случайно перебор не случился?=)
а, не, сам дурак=) меня почему-то переклинило, что список делается через
, а неНет. тут все проще, и никаких скриптов думаю не нужно. Там где у меня запускается redis+celery+ffmpeg нужно всего лишь одно приложение для конвертации которое статическое. Весь проект туда не обязательно шмалять.