Парсинг логов XML формата.

Question

Ruslan Polupan4 апреля 2018 г. 2:54

Парсинг логов XML формата.

Qt, XML, логи, парсинг

Доброго времени суток.

Вопрос скорее теологического плана.

Возникла необходимость представить в читабельном виде логи обмена между сервисами.

Логи такого формата:

18.04.03 03:46:19.261 [GET_DISCOUNT] TransactionNo=4709 SCardNo=2551000547876 MPosCheckId=310731 GoodsCount=1 additionalAttributeList.Count=0
18.04.03 03:46:23.598 [THTTPProtocol.Post -> request] <?xml version="1.0" encoding="windows-1251"?>
<Data><Type>GET_DISCOUNT</Type><context><partnerID>10</partnerID><locationID>4001</locationID><terminalID>4001</terminalID><posID>1</posID><cashierID>17</cashierID><cashierFullName>Милованова Полина</cashierFullName><login>user1</login><password>user1</password><cardNo>2551000547876</cardNo><cardHash>7B0C042167106DF919222D4596451393</cardHash><transactionDate>2018-04-03 03:46:19</transactionDate></context><transactionNo>4709</transactionNo><transactionHash>E7EF9D3FC4154B7CB24D386487C96149</transactionHash><online>1</online><posReceipt>0</posReceipt><terminalReceipt>310731</terminalReceipt><GoodsList><goods><code1>3</code1><code2>3</code2><code3>1</code3><name>2710124194*Бенз.А-92</name><quantity>5.25</quantity><price>28.55</price><amount>149.89</amount><amountDiscount>0.00</amountDiscount><flagDiscount>0</flagDiscount><bonusMaxRedeem>149.88</bonusMaxRedeem></goods></GoodsList><PayType>1</PayType><totalAmount>149.89</totalAmount><totalAmountBeforeDiscount>149.89</totalAmountBeforeDiscount><additionalAttributeList/></Data>

18.04.03 03:46:23.598 [THTTPProtocol.Post <- answer] <?xml version="1.0" encoding="windows-1251"?><Data xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"><errorCode>0</errorCode><errorDescription>Нет ошибок</errorDescription><Messages><Message><Channel>1</Channel><MessageDescription>Общий баланс бонусов 31.84</MessageDescription></Message></Messages><bonusList><GoodsData><code1>0</code1><code2>3</code2><code3>1</code3><amount>149.89</amount><bonusIssuance>0</bonusIssuance><bonusRedeem>31.84</bonusRedeem><Discount>0</Discount><discountCode /><discountAmount>0.00</discountAmount><discountSource>0</discountSource><discountPercent>0</discountPercent></GoodsData></bonusList><clmTrnId>751008</clmTrnId><balanceActive>31.84</balanceActive><balanceTotal>31.84</balanceTotal></Data>
18.04.03 03:46:26.671 [ISSUANCE] TransactionNo=4710 SCardNo=2551000547876 MPosCheckId=310731 GoodsCount=1 additionalAttributeList.Count=0
18.04.03 03:46:33.207 [THTTPProtocol.Post -> request] <?xml version="1.0" encoding="windows-1251"?>
<Data><Type>ISSUANCE</Type><context><partnerID>10</partnerID><locationID>4001</locationID><terminalID>4001</terminalID><posID>1</posID><cashierID>17</cashierID><cashierFullName>Милованова Полина</cashierFullName><login>user1</login><password>user1</password><cardNo>2551000547876</cardNo><cardHash>7B0C042167106DF919222D4596451393</cardHash><transactionDate>2018-04-03 03:46:26</transactionDate></context><transactionNo>4710</transactionNo><transactionHash>2AA2BF06B710904EC2909E90C3A36F98</transactionHash><online>1</online><posReceipt>0</posReceipt><terminalReceipt>310731</terminalReceipt><GoodsList><goods><code1>3</code1><code2>3</code2><code3>1</code3><name>2710124194*Бенз.А-92</name><quantity>5.25</quantity><price>28.55</price><amount>149.89</amount><amountDiscount>0.00</amountDiscount><flagDiscount>0</flagDiscount><bonusMaxRedeem>149.88</bonusMaxRedeem></goods></GoodsList><PayType>1</PayType><totalAmount>149.89</totalAmount><totalAmountBeforeDiscount>149.89</totalAmountBeforeDiscount><additionalAttributeList/></Data>

18.04.03 03:46:33.207 [THTTPProtocol.Post <- answer] <?xml version="1.0" encoding="windows-1251"?><Data xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"><Messages><Message><Channel>1</Channel><MessageDescription>Карта Glusco Club:</MessageDescription></Message><Message><Channel>1</Channel><MessageDescription>2551 0005 4787</MessageDescription></Message><Message><Channel>1</Channel><MessageDescription>Стан рахунку GlusCoin:</MessageDescription></Message><Message><Channel>1</Channel><MessageDescription>Нараховано:             1.5</MessageDescription></Message><Message><Channel>1</Channel><MessageDescription>Витрачено:                0</MessageDescription></Message><Message><Channel>1</Channel><MessageDescription>Баланс:               33.34</MessageDescription></Message></Messages><errorCode>0</errorCode><errorDescription>Нет ошибок</errorDescription><bonusList><GoodsData><code1>0</code1><code2>3</code2><code3>1</code3><amount>149.89</amount><bonusIssuance>1.5</bonusIssuance><bonusRedeem>0</bonusRedeem><Discount>0</Discount><discountAmount>0.00</discountAmount><discountPercent>0</discountPercent></GoodsData></bonusList><clmTrnId>751011</clmTrnId><TotalIssuance>1.5</TotalIssuance><TotalRedeem>0</TotalRedeem><balanceActive>33.34</balanceActive><balanceTotal>33.34</balanceTotal></Data>

Вопрос в том что не могу придумать какой инструментарий использовать для разбора их и соответсвенно для наглядного отображения с возможностью поиска данных.

Буду признателен за любой совет либо комментарий.

Спасибо.

Рекомендуем хостинг TIMEWEB

Стабильный хостинг, на котором располагается социальная сеть EVILEG. Для проектов на Django рекомендуем VDS хостинг.

Подписка на обсуждение2

Подписка на раздел248

Вам это нравится? Поделитесь в социальных сетях!

4 апреля 2018 г. 3:08
(ред.)

Добрый день!

Qt обладает встроенными средствами парсинга XML формата.

При этом есть два вариант

Использовать QXmlStreamWriter и QXmlStreamReader - это более низкоуровневый вариант. В большинстве случаев не требуется.
Использовать QDomDocument - создаёт представление документа в виде Node дерева. Более высокоуровневый вариант. Несколько удобнее. Рекомендую использовать этот вариант.

Статьи с примерами

Qt/C++ - Урок 011. XML файлы в Qt - чтение и запись - используются QXmlStreamWriter и QXmlStreamReader
Qt/C++ - Урок 045. SvgReader на Qt. Восстановление данных из файла SVG в QGraphicsScene - Используется QDomDocument
Qt/C++ - Урок 072. Пример векторного редактора на Qt - там в исходниках есть куски кода с использованием QDomDocument.

Некоторые вопросы на форуме с использованием XML

https://evileg.com/forum/topic/357/

4 апреля 2018 г. 8:27

Спасибо.

Но чего я напрочь заблудился в QDomDocument. Толковой статьи для чайников не нашел :-)

3 июля 2018 г. 6:55

Снова вернулся к этой теме .

Нашел такой вот пример.

void MainWidget::on_pushButton_clicked()
{
    //Очистка виджета иерархического списка (дерева)
    ui->treeWidget->clear();

    //Создание объекта чтения xml
    QXmlStreamReader xmlReader;
    //Создание стека элементов дерева
    //Верхний элемент стека - текущий родительский элемент
    QStack<QTreeWidgetItem*> itemStack;

    //Загрузка текста в объект чтения
    xmlReader.addData(ui->textBrowser->toPlainText());

    //Цикл до конца документа
    while (!xmlReader.atEnd()){
        //Случай открывающего тега
        if (xmlReader.isStartElement()){
            //Получение имени открывающегося тега
            QString str = xmlReader.name().toString();
            //Получение объекта QStringList
            QStringList sl = str.split(",");
            //Создание нового элемента дерева
            QTreeWidgetItem* item = new QTreeWidgetItem(sl);
            //Если есть родительский элемент, добавляем новый элемент в качестве дочернего
            if (itemStack.count()>0){
                itemStack.top()->addChild(item);
            }
            //иначе добавляем в качестве корневого элемента
            else {                
                ui->treeWidget->addTopLevelItem(item);
            }
            //Открывающийся тег становится текущим родительским
            itemStack.push(item);
//            qDebug() << xmlReader.readElementText();
        }
        //Случай закрывающего тега
        if (xmlReader.isEndElement()){

            //Если стек не пуст, поднимаемся вверх по иерархии
            if (itemStack.count()>0)
                itemStack.pop();
        }
        //Чтение следующей единицы документа

        xmlReader.readNext();
    }
    //Если в процессе разбора xml-документа возникла ошибка,
    //выводим её в консоль qDebug()
    if (xmlReader.hasError())
        qDebug() << xmlReader.errorString();
}

Структуру выводит то что надо.

Но что-то никак не пойму как выводить значение тегов если они есть. т.е если это не ветка списка и у тега есть значение.

Evgenii Legotckoi → Ruslan Polupan
#

3 июля 2018 г. 16:24

А Вы не могли бы скинуть код того тега и и описать, что подразумеваете под значением?

А то у меня уже голова после рабочего дня не соображает.

4 июля 2018 г. 1:47

Во вложении архив с проектом. XML в самом виджете.

Evgenii Legotckoi → Ruslan Polupan
#

4 июля 2018 г. 17:43

Неудобство QXmlStreamReader заключается в том, что Вы должны знать структуру документа, из которого извлекаете данные. Поэтому нужно знать заранее все теги с которыми будете работать.

При этом метод readElementText() сработает правильно в том случае, когда тег не содержит вложенных тегов.

Как вариант, можете определить константное поле со списком тегов.

class MainWidget : public QWidget
{
    Q_OBJECT

public:
    explicit MainWidget(QWidget *parent = 0);
    ~MainWidget();

private slots:
    //Слот, автоматически связываемый по имени
    //с сигналом clicked() объекта кнопки pushButton
    void on_pushButton_clicked();
private:
    Ui::MainWidget *ui;

    // Добавляем список тегов, из которых нужно извлечь данные
    const QStringList ELEMENTS_WITH_TEXT = {
        "Type", "partnerID", "locationID", "terminalID", "posID"
    };
};

А вот вам исправленный цикл, который распарсит те данные, которые должны содержать только текст.

//Цикл до конца документа
    while (!xmlReader.atEnd()) {
        //Случай открывающего тега
        if (xmlReader.isStartElement()){
            //Получение имени открывающегося тега
            QString str = xmlReader.name().toString();

            //Получение объекта QStringList
            if (ELEMENTS_WITH_TEXT.contains(str))
            {
                str = str.append(" " + xmlReader.readElementText());
            }

            //Создание нового элемента дерева
            QTreeWidgetItem* item = new QTreeWidgetItem(QStringList() << str);
            //Если есть родительский элемент, добавляем новый элемент в качестве дочернего
            if (itemStack.count()>0){
                itemStack.top()->addChild(item);
            }
            //иначе добавляем в качестве корневого элемента
            else {                
                ui->treeWidget->addTopLevelItem(item);
            }
            //Открывающийся тег становится текущим родительским
            itemStack.push(item);
        }
        //Случай закрывающего тега
        if (xmlReader.isEndElement()){

            //Если стек не пуст, поднимаемся вверх по иерархии
            if (itemStack.count()>0)
                itemStack.pop();
        }
        //Чтение следующей единицы документа

        xmlReader.readNext();
    }

Если не ошибаюсь, то QDomDocument в плане неизвестной структуры документа будет адекватнее себя вести, там можно проверить, имеются ли дочерние теги или нет.

Парсинг логов XML формата.

Рекомендуем хостинг TIMEWEB

Комментарии