Evgenii Legotckoi
Evgenii Legotckoi24 октября 2018 г. 12:38

Django - Урок 038. Использование BeatifulSoup 4 для очистки публикуемого контента от нежелательных html тегов

При развитии веб-сайта, на котором добавлена возможность писать комментарии или публиковать статьи, в которых разрешена html-вёрстка , важен механизм для очистки нежелательных html-тегов, в частности тегов script и style , поскольку вредоносные скрипты на качественном ресурсе точно не должны присутствовать. А также хорошо будет иметь возможность очистки стиля текста, особенно, если ресурс подразумевает единообразный стиль. Разнобой кричащих шрифтов никому не нужен, да и проблем с вёрсткой добавляет.

Для реализации подобного механизма я использую Python пакет Beautiful Soup 4 и наконец-то написал один класс, который по сути делает всё необходимое мне. Удаляет ненужные теги, добавляет необходимые классы к тегам, сохраняет классы в тегах, если при зачистке их нужно оставить, это важно для классов, которые добавляются ещё на этапе написания комментария, например, при вставке YouTube видео или добавлении программного кода, когда пользователь выбирает, какой именно язык программирования должен быть представлен в блоке программного кода.


Установка BeautifulSoup 4

pip install beautifulsoup4

Программный код

Данный пример представлен в виде класса, чтобы можно было с помощью наследования и переопределения метода очистки формировать необходимую логику, а сам программный код модуля для очистки html не превращался в коллекцию разнородных малосочитающихся функций.

# -*- coding: utf-8 -*-

import re

from bs4 import BeautifulSoup
from YourDjangoApp import settings


class ESoup:
    # инициализация объекта очистки текста,
    # может использовать сразу получать допололнительные теги для удаления, чтобы не переопределять класс
    def __init__(self, text, tags_for_extracting=()):
        self.soup = BeautifulSoup(text, "lxml") if text else None
        self.tags_for_extracting = ('script', 'style',) + tags_for_extracting

    # Метод для удаления указанных тегов
    def __extract_tags(self, soup, tags=()):
        for tag in tags:
            for current_tag in soup.find_all(tag):
                current_tag.extract()
        return soup

    # Метод для удаления атрибутов у всех тегов
    def __remove_attrs(self, soup):
        for tag in soup.find_all(True):
            tag.attrs = {}
        return soup

    # Метод для удаления атрибутов у всех тегов кроме перечисленных в whitelist_tags
    def __remove_all_attrs_except(self, soup, whitelist_tags=()):
        for tag in soup.find_all(True):
            if tag.name not in whitelist_tags:
                tag.attrs = {}
        return soup

    # Удаление всех атрибутов у всех тегов, кроме перечисленных в whitelist_tags
    # Если тег есть в whitelist_tags у него будут удалены только те атрибуты, которые не перечислены в whitelist_attrs
    # Также данный метод сохраняет у тега классы, перечисленные в whitelist_classes
    # независимо от того, был ли он перечислен в whitelist_tags или в whitelist_attrs.
    # Просто у меня у классов особое положение для тегов
    def __remove_all_attrs_except_saving(self, soup, whitelist_tags=(), whitelist_attrs=(), whitelist_classes=()):
        for tag in soup.find_all(True):
            saved_classes = []
            if tag.has_attr('class'):
                classes = tag['class']
                for class_str in whitelist_classes:
                    if class_str in classes:
                        saved_classes.append(class_str)

            if tag.name not in whitelist_tags:
                tag.attrs = {}
            else:
                attrs = dict(tag.attrs)
                for attr in attrs:
                    if attr not in whitelist_attrs:
                        del tag.attrs[attr]

            if len(saved_classes) > 0:
                tag['class'] = ' '.join(saved_classes)

        return soup

    # Добавляет nofollow отношение в теге, проверяя url атрибута src или img
    # Если ссылка ведёт на внутренние страницы вашего сайта, то nofollow не будет добавлено
    def __add_rel_attr(self, soup, tag, attr):
        for tag in soup.find_all(tag):
            attr_content = tag.get(attr)
            if not attr_content.startswith(settings.SITE_URL) and not attr_content.startswith('/'):
                tag['rel'] = ['nofollow']
        return soup

    # Добавляет новые классы к тегу, сохраняя те классы, которые уже существовали
    def __add_class_attr(self, soup, tag, classes=()):
        for tag in soup.find_all(tag):
            saved_classes = []
            if tag.has_attr('class'):
                saved_classes.append(tag['class'])
            saved_classes.extend(list(classes))
            tag['class'] = ' '.join(saved_classes)
        return soup

    # Метод, выполняющий очистку, его предлагаю переопределять, если вам нужно изменить логику очистки html кода
    def clean(self):
        # BeutifulSoup был создан при инициализации, то можно выполнить очистку
        if self.soup:
            # Удаляем все теги, которые нам не нравятся
            soup = self.__extract_tags(soup=self.soup, tags=self.tags_for_extracting)
            # Удаляем все атрибуты у всех тегов, кроме
            # src и href у тегов img и a,
            # а также оставляем класс prettyprint
            soup = self.__remove_all_attrs_except_saving(
                soup=soup,
                whitelist_tags=('img', 'a'),
                whitelist_attrs=('src', 'href',),
                whitelist_classes=('prettyprint',)
            )
            # добавляем rel="nofollow" для внешних ссылок
            soup = self.__add_rel_attr(soup=soup, tag='a', attr='href')
            soup = self.__add_rel_attr(soup=soup, tag='img', attr='src')
            # улучшаем внешний вид изображений с помощью класса img-fluid
            soup = self.__add_class_attr(soup=soup, tag='img', classes=('img-fluid',))
            # добавляем класс linenums для pre тегов
            soup = self.__add_class_attr(soup=soup, tag='pre', classes=('linenums',))
            # возвращаем полезный контент, дело в том, что BeautifulSoup 4 добавляет ещё теги html и body,
            # которые мне, например, не нужны
            return re.sub('<body>|</body>', '', soup.body.prettify())
        return ''

    # Статический метод класса, что-то вроде Shortcuta
    @staticmethod
    def clean_text(text, tags_for_extracting=()):
        soup = ESoup(text=text, tags_for_extracting=tags_for_extracting)
        return soup.clean()

Применение

Или так

soup = ESoup(text=text, tags_for_extracting=tags_for_extracting)
soup.clean()

Или так

ESoup.clean_text(text=text, tags_for_extracting=tags_for_extracting)
Рекомендуем хостинг TIMEWEB
Рекомендуем хостинг TIMEWEB
Стабильный хостинг, на котором располагается социальная сеть EVILEG. Для проектов на Django рекомендуем VDS хостинг.

Вам это нравится? Поделитесь в социальных сетях!

Илья Чичак
  • 5 декабря 2018 г. 8:37

я думаю, что последний


    @staticmethod
    def clean_text(text, tags_for_extracting=()):
        soup = ESoup(text=text, tags_for_extracting=tags_for_extracting)
        return soup.clean()

есть смысл заменить на classmethod (при наследовании, старый вариант сломается, а с классом - нет):

    @classmethod
    def clean_text(cls, text, tags_for_extracting=()):
        soup = cls(text=text, tags_for_extracting=tags_for_extracting)
        return soup.clean()
Evgenii Legotckoi
  • 5 декабря 2018 г. 15:34

Спасибо за информацию, не думал об этом.

Надо будет проверить на кошках.

Комментарии

Только авторизованные пользователи могут публиковать комментарии.
Пожалуйста, авторизуйтесь или зарегистрируйтесь
1
  • 12333
  • 18 июля 2024 г. 2:34

Qt - Тест 001. Сигналы и слоты

  • Результат:63баллов,
  • Очки рейтинга-1
1
  • 12333
  • 18 июля 2024 г. 2:25

C++ - Тест 005. Структуры и Классы

  • Результат:50баллов,
  • Очки рейтинга-4
AM

C++ - Тест 005. Структуры и Классы

  • Результат:33баллов,
  • Очки рейтинга-10
Последние комментарии
d
dblas55 июля 2024 г. 8:02
QML - Урок 016. База данных SQLite и работа с ней в QML Qt Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
k
kmssr8 февраля 2024 г. 15:43
Qt Linux - Урок 001. Автозапуск Qt приложения под Linux как сделать автозапуск для флэтпака, который не даёт создавать файлы в ~/.config - вот это вопрос ))
АК
Анатолий Кононенко4 февраля 2024 г. 22:50
Qt WinAPI - Урок 007. Работаем с ICMP Ping в Qt Без строки #include <QRegularExpressionValidator> в заголовочном файле не работает валидатор.
EVA
EVA25 декабря 2023 г. 7:30
Boost - статическая линковка в CMake проекте под Windows Ошибка LNK1104 часто возникает, когда компоновщик не может найти или открыть файл библиотеки. В вашем случае, это файл libboost_locale-vc142-mt-gd-x64-1_74.lib из библиотеки Boost для C+…
J
JonnyJo25 декабря 2023 г. 5:38
Boost - статическая линковка в CMake проекте под Windows Сделал всё по-как у вас, но выдаёт ошибку [build] LINK : fatal error LNK1104: не удается открыть файл "libboost_locale-vc142-mt-gd-x64-1_74.lib" Хоть убей, не могу понять в чём дел…
Сейчас обсуждают на форуме
F
Fynjy22 июля 2024 г. 1:15
при создании qml проекта Kits есть но недоступны для выбора Поставил Qt Creator 11.0.2. Qt 6.4.3 При создании проекта Qml не могу выбрать Kits, они все недоступны, хотя настроены и при создании обычного Qt Widget приложения их можно выбрать. В чем может …
BlinCT
BlinCT24 июня 2024 г. 22:00
Нарисовать кривую в qml Всем привет. Имеется Лист листов с тосками, точки получаны интерполяцией Лагранжа. Вопрос, как этими точками нарисовать кривую? ChartView отпадает сразу, в qt6.7 появился новый элемент…
Evgenii Legotckoi
Evgenii Legotckoi24 июня 2024 г. 12:11
добавить qlineseries в функции Я тут. Работы оень много. Отправил его в бан.
BlinCT
BlinCT5 мая 2024 г. 2:46
Написать свой GraphsView Всем привет. В Qt есть давольно старый обьект дял работы с графиками ChartsView и есть в 6.7 новый но очень сырой и со слабым функционалом GraphsView. По этой причине я хочу написать х…
Evgenii Legotckoi
Evgenii Legotckoi2 мая 2024 г. 11:07
Мобильное приложение на C++Qt и бэкенд к нему на Django Rest Framework Добрый день. По моему мнению - да, но то, что будет касаться вызовов к функционалу Андроида, может создать огромные трудности.

Следите за нами в социальных сетях