Django - Оқулық 058. Django_session кестесіне байланысты деректер қорының өсуі

Django, Postgres, garbage collection, Python, PostgreSQL

Жақында мен хостингтегі сайт үшін дискілік кеңістік апатты түрде жеткіліксіз болатын өлім сәтінің жақындағанын байқадым. Бұл үшін нақты алғышарттар болмаса да, дерекқордың қоқысы керемет үлкен болады. Сайттың мазмұн көлемі соншалықты тез өсіп жатқан жоқ, тіркелген пайдаланушылар саны да тез өсіп жатқан жоқ.

Дерекқорды зерттегеннен кейін, django_session кестесінің өлшемі өте үлкен дерлік 7 ГБ болатыны анықталды, ал дерекқордың өзі 14 ГБ болатынына қарамастан, индекс өлшемі де 6,5 ГБ жетеді.

Сонымен қатар, екінші ең үлкен кестенің өлшемі небәрі 11 МБ және бұл қалалар тізімі бар үшінші тарап қолданбасы. Ал форумдағы хабарламаларды қамтитын үшінші кестенің көлемі небәрі 8 МБ.

Тиісінше, бұл неліктен болып жатқанын және оны қалай түзетуге болатынын анықтау туралы шешім қабылданды.

Дәл қазір мен PostgreSQL дерекқорларын белсенді басқаратындар үшін жаңа ештеңе ашпайтын шығармын, бірақ жаңадан бастағандар және негізінен Джангомен PET жобасы ретінде айналысатындар үшін ақпарат пайдалы болуы мүмкін.

Кесте өлшемін қалай тексеруге болады

https://evileg.com/ru/knowledge/article/add/#
Мұны істеу үшін PostreSQL әкімшілік интерфейсінде келесі сұрауды орындаңыз. Ал біз мәліметтер базасының кестелеріндегі ақпараттың сұрыпталған шығысын аламыз.

select table_name, pg_relation_size(quote_ident(table_name)), pg_size_pretty(pg_relation_size(quote_ident(table_name))) from information_schema.tables where table_schema = 'public' order by 2;

 forum_forumpost                        |          8290304 | 8096 kB
 cities_light_city                      |         11108352 | 11 MB
 django_session                         |       7225204736 | 6890 MB
(110 rows)

Көріп отырғаныңыздай, менің жағдайда, djang_session кестесі сайттың Django қозғалтқышында болған 6 жыл ішінде өте өсті.
DDOS келушілерінің арқасында барлық анонимді пайдаланушылар үшін сеанс кілттерін жасау механизмі және әдепкі бойынша PostgreSQL жазбаларды жою кезінде де дерекқор файлының өлшемін азайтпайтыны.

Ал деректер қорының көлемін былай көруге болады

SELECT pg_size_pretty( pg_database_size('databasename') );
 pg_size_pretty 
----------------
 14 GB
(1 row)

Міне, осындай жағымсыз өлшем шықты - 14 ГБ.

Мерзімі өткен сеанстарды жою

Сайт DDOS-қа немесе жай ғана пайдаланушылар ағынына ұшыраған кезде, әдетте Django-да жойылмайтын сеанстардың үлкен саны жасалады және кесте индексі де қосымша өседі.

Сондықтан, ең алдымен, ескірген сеанстарды жою керек. Бұл үшін Джангода clearsessions пәрмені бар.

Сондықтан консольде жобаңыздың python ортасын белсендіреміз, жобаңыз бар қалтаға өтіп, келесі пәрменді орындаймыз.

python manage.py clearsessions

Бұл барлық ескі сеанстарды жояды. Сондай-ақ, бұл пәрменді cron арқылы іске қосу үшін жоспарлауға болады.
Мысалы, django-session-cleanup батареясын пайдалану үшін сельдерей пайдалану қажет.

Қоқыс жинағышты іске қосыңыз

Ескі сеанстарды жоюды аяқтағаннан кейін дерекқор алып жатқан орынды босату керек.
Бұл қажет, себебі дерекқордың басымдығы дискілік кеңістікті үнемдеуден гөрі өнімділік болып табылады. Осылайша, деректер қорының файлы индекстің өсуіне байланысты өседі және деректер ұзақ уақыт бойы жоқ. Сондай-ақ, әдепкі бойынша, қоқыс жинағыш өздігінен іске қосылмайды, ол үшін оны кесте бойынша іске қосу үшін конфигурациялау керек, мысалы, демонды пайдалану.

Бірақ жеке мен оны осы уақытқа дейін қолмен жасадым. PostgreSQL ішіндегі қоқыс жинағыш вакуум командасымен іске қосылады.

vacuum FULL ANALYZE django_session;

Бұл әрекетті орындағаннан кейін мен деректер қорының өлшемін қайтадан тексеремін және көремін

SELECT pg_size_pretty( pg_database_size('databasename') );
 pg_size_pretty 
----------------
 494 MB
(1 row)

Қазір дерекқордың көлемі небәрі 494 МБ, бұл жақсы жаңалық.

Уақыт өте келе қоқыс жинағышты кем дегенде аптасына бір рет жұмыс істейтін етіп конфигурациялау қажет болады, бірақ бұл туралы келесі мақалада толығырақ.