Виталий Антипов
Виталий Антипов26. Januar 2018 04:34

"database is locked Невозможно получить строку"

Добрый день! При многопользовательском использовании sqlite3, первая программа, создавшая соединение, имеет все права, остальные могут только читать базу. Любая попытка создания, редактирования, удаления приводят к примерно такому:

error delete row  Baza
"database is locked Невозможно получить строку"
Подскажите, как безопасно решить эту проблему?
Рекомендуємо хостинг TIMEWEB
Рекомендуємо хостинг TIMEWEB
Stabiles Hosting des sozialen Netzwerks EVILEG. Wir empfehlen VDS-Hosting für Django-Projekte.

Magst du es? In sozialen Netzwerken teilen!

18
Evgenii Legotckoi
  • 26. Januar 2018 04:48
  • (bearbeitet)

Добрый день. Могу только предложить закрывать соединение с базой данных, когда программме не требуется получать данные или записывать.

SQLite не предназначен для многопользовательских систем сам по себе.

Либо лучшим решением будет использовать MySQL или PostgreSQL. Рекомендую PostgreSQL.
    Виталий Антипов
    • 26. Januar 2018 05:08

    К сожалению, клиент-серверные бд мне не подходят - нет доступа к серверу. А постоянно открывать-закрывать соединения... даже не знаю, слишком костыльно чтоли.

      Evgenii Legotckoi
      • 26. Januar 2018 05:13
      • (bearbeitet)
      • Die Antwort wurde als Lösung markiert.

      Как вариант, можно попробовать работать с транзакциями, то есть открывать транзакции и закрывать их при каждой записи.

      QSqlDatabase db = QSqlDatabase::database();
      db.transaction();
       
      QSqlQuery q;
      qDebug() << q.exec("SELECT;"); 
       
      q.clear();
      if(!db.commit()){
      db.rollback();
      }
      В общем-то для такого они и предназначены, но мне как-то не было необходимости настолько вручную управлять данным процессом.
      Проверьте, может поможет решить вашу проблему. Но по факту это один из правильных путей.
        Виталий Антипов
        • 26. Januar 2018 05:15

        Спасибо, попробую.

          Сделал вот так:

          bool DataBase::insertIntoTable(const QVariantList &data)
          {
              QSqlDatabase db = QSqlDatabase::database();
              db.transaction();
              QSqlQuery querys;
              querys.prepare("INSERT INTO ... ");
              if(!querys.exec()){
                  qDebug() << "error insert into ";
                  qDebug() << querys.lastError().text();
                  return false;
              } else {
                  querys.clear();
                  qDebug() << "db.commit() = "<<db.commit();
                  if(!db.commit()){
                  db.rollback();
                  }
                  return true;
              }
              return false;
          }
          Запускаю две программы с обращением к одной базе и пытаясь сделать запись получаю db.commit() = false.
          Закрываю одну программу, произвожу запись и db.commit() = true, запись прошла успешно.
          В документации написано:
          Note: For some databases, the commit will fail and return false if there is an active query using the database for a SELECT . Make the query inactive before doing the commit.
          То есть получается, что SELECT'ы одной программы блокируют базу для операций записи, редактирования и удаления другой. У меня при открытии программы интерфейс заполняется данными из моделей и mapper с использованием таких запросов:
          this->setQuery("SELECT ... ");
          И я так понимаю, что они висят активными. В документации про bool QSqlQuery::isActive() const пишут следующее:
          Returns true if the query is active . An active QSqlQuery is one that has been exec()'d successfully but not yet finished with. When you are finished with an active query, you can make the query inactive by calling finish () or clear (), or you can delete the QSqlQuery instance.

          Note: Of particular interest is an active query that is a SELECT statement. For some databases that support transactions, an active query that is a SELECT statement can cause a commit() or a rollback() to fail, so before committing or rolling back, you should make your active SELECT statement query inactive using one of the ways listed above.

          То есть все SELECT надо делать неактивными после использования.

          В документации по setQuery() обращают внимание, что запрос должен быть активным. В итоге замкнутый круг :(

            Виталий Антипов
            • 26. Januar 2018 14:01

            У меня такой вот вопрос, а нельзя ли как-то получив из setQuery() в модель данные, эту модель сохранить в памяти, чтобы можно было очистить setQuery, а сохраненную модель отправить в интерфейс?

              Я правильно понимаю, что вы в большинстве случае используете QSqlQueryModel для интерфейса?
              Теоретически можно написать свою модель данных, которая будет использовать запросы к базе данных.

              Там просто будет вектор, с которым вы будете работать для отдачи данных и редактирования, но для обновления интерфейса будете пользоваться сырыми SQL запросами.

                Да, в подавляющем большинстве. С такой проблемой многие столкнулись, судя по форумам. QSqlQueryModel всегда держит соединение активным и никуда от этого не уйти, жаль что этого не знал раньше. Придется львиную часть логики переписывать. На уме два варианта - формировать какие-то виртуальные таблицы и использовать setQuery() к ним, либо как вы говорите делать свою модель. Модель мне нужна только для отдачи данных, изменения в базу вношу прямыми запросами. Я так понимаю, надо QVector заполнять примерно так:

                while(query.next()) {
                    vector.append(query.value(0).toString());
                    vector.append(query.value(1).toString());
                }
                Но вот как быть с ролями? Мне пока трудно понять что представляет собой QVector.

                  Результат запроса можно выразить классом или структурой. Каждая структура будет иметь несколько полей, которые фактически будут являться колонками строк в запросе.

                  struct SomeRecord
                  {
                      int id;
                      QString name;
                      double value;
                  }
                  Вы будете иметь вектор с этими строками
                  QVector<SomeRecord> records;
                  Заполнять по идее надо будет так
                  while(query.next()) {
                      SomeRecord record;
                      record.id = query.value(0).toInt();
                      record.name = query.value(1).toString();
                      record.value = query.value(2).toDouble();
                      records.push_back(record);
                  }
                  А дальше с этим вектором делаете что хотите. Наиболее часто советуемый мной пример является пример из Qt Creator`a про AnimalModel. На основе него можете посмотреть как сделать рабочую модель с вектором данных внутри для отображения в таблице.
                   
                  Надеюсь, что это поможет. По хорошему, Вам бы проверить на прототипном приложении, помогают ли вообще эти транзакции для того, чтобы отпустить владение базой данных при активном подсоединении двух приложении. Я такого не пробовал, но имею предположение, что это может помочь.

                    Спасибо! Только что смотрел пример AnimalModel. Вроде все понятно. А транзакции обязательно посмотрю, только в моем случае она не поможет. В документации пишут, что в некоторых случаях при транзакции SELECT db.commit() = false и необходимо закрыть запрос вручную. В моем случае использования QSqlQueryModel если сделать запросу finish(), то очистятся все данные модели, останутся только колонки и строки (первоначальная таблица стала пустой, сохранив свой размер), если clear(), то удаляется вся модель. Я тут ради интереса в обеих программах INSERT обернул в транзакции. При параллельной работе на одну базу вставка нигде не прошла. Надеюсь QVector поможет. Еще раз спасибо!

                      Виталий Антипов
                      • 27. Januar 2018 06:52
                      • (bearbeitet)

                      Создал тестовое приложение с QSqlQueryModel. Запустил releas и debug версии с подключением к одной базе. База заблокирована. По вашему совету все таки обернул setQuery() в транзакцию:

                      void ListModel::updateModel()
                      {    
                          QSqlDatabase db = QSqlDatabase::database();
                          db.transaction();
                          this->setQuery("SELECT ... ");
                          while(this->canFetchMore()){
                             this->fetchMore();
                          }
                      if(!db.commit()){ db.rollback(); } qDebug()<<"db.commit() = "<<db.commit(); //false }
                      И о чудо! Данные добавляются, удаляются, база не блокируется. Все супер! Спасибо за совет, пошел писать транзакции на все селекты основной программы.

                        Вот и хорошо, что получилось всё. Успехов.

                          Виталий Антипов
                          • 27. Januar 2018 08:15

                          Важное дополнение для тех кто встретится с такой же проблемой. Использование fetchMore() обязательно!

                          while(this->canFetchMore()){
                                  this->fetchMore();
                              }
                          Проверено на тесте базы с 2000 записей, просто использование транзакции не помогает. Дело в том, что модель через setQuery() не загружает все данные, а подгружает их по мере необходимости. Из-за этого запрос висит активным и блокирует базу. Выше указанный код насильно грузит все данные в модель, что в связке с транзакцией разблокирует базу.
                            Evgenii Legotckoi
                            • 29. Januar 2018 06:51
                            • (bearbeitet)

                            я вот сейчас подумал... это ж какой трындец будет, если в базе данных будет под 100 000 записей. Подобный запрос будет давать весомую нагрузку как на приложение, так и на саму базу данных, если обновления таблицы понадобится проводить довольно часто.

                            Следует предусмотреть возможность построчного обновления таблиц при их редактировании и удалении отдельных строк с кешированием выборки SELECT на стороне приложения, чтобы не дёргать каждый раз по 100 000 записей. Иначе это будет чревато тормозами самого приложения у пользователя.

                              Евгений, я провел тестирование на 337 000 записей. Результаты фантастические. Визуально скорость загрузки осталась та же что и для 2 000 записей - примерно 1 сек. Но есть нюанс - это при прямых запросах. А вот с вложенными сложнее.

                              void ListModelStatIzmerAgr::updateModel()
                              {
                                  QSqlDatabase db = QSqlDatabase::database();
                                  db.transaction();    
                                  this->setQuery("select Baza.id, Baza.KKS, (select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id) as total, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_Rezhim = 1) as hh, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_Rezhim = 2) as nom, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_Rezhim = 3) as rd, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 1) as pnr, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 2) as pnrdop, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 3) as ekspl, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 4) as ekspldop "
                                                 "from Baza where total <> 0 order by 3 desc");
                                  while(this->canFetchMore()){
                                      this->fetchMore();
                                  }
                                  if(!db.commit()){
                                  db.rollback();
                                  }
                              }
                              Вот такой запрос для 337 000 в таблице Baza обрабатывается примерно 70 секунд. Где-то попадалось на форумах, что setQuery() не очень хорошо работает со сложными запросами и без fetchMore() все данные не вытягивает. Там смысл в том, что при простых запросах база отдает информацию об общем количестве строк и грузится все сразу, а в сложных запросах количество записей неизвестно и в Qt посчитали необходимым жестко зафиксировать получение 256 записей. Если сделать fetchMore() новое ограничение станет 512 и т.д.
                              Провел еще один эксперимент. Сначала подключился к малой базе и вывел в интерфейс кастомную таблицу с 2000 записей, а затем в программе переподключился к большой базе и вывел в интерфейс этой же моделью 337000 записей. Программа даже не задумалась - моментально все.
                                Виталий Антипов
                                • 29. Januar 2018 10:47

                                У меня такое ощущение, что fetchMore() при прямых запросах ничего не делает, судя по скорости модель так же подгружается по мере необходимости. Но этот метод как-то разблокирует базу, то есть сообщает драйверу что запрос выполнен до конца и не активен. А по документации setQuery() используется только при активном запросе, и он походу и остается активным. Это все догадки конечно, исходники я не смотрел.

                                  К сожалению, ничего не могу сказать за внутренности реализации модуля SQL в Qt. Тоже не доводилось им пользоваться.

                                  Как вариант можно посмотреть ещё в сторону Wt::dbo - это орм. Требует для себя Boost, и вяжется с Qt. На работе используем для крупного проекта с использованием SQLite. Правда не уверен насчёт нескольких приложений одновременно, но точно знаю, что всё заполнение там идёт через транзакции. Мы всегда открываем транзакцию, а потом закрываем её, когда работа с базой данных была завершена. То есть был выполнен некоторый запрос и т.д.

                                  Правда это более сложных подход. Тут придётся все модели писать самостоятельно...

                                    Спасибо, этот тред оооочень помог. Долго ломал голову, почему на 257 записи всё падает.

                                      Kommentare

                                      Nur autorisierte Benutzer können Kommentare posten.
                                      Bitte Anmelden oder Registrieren
                                      Letzte Kommentare
                                      ИМ
                                      Игорь Максимов5. Oktober 2024 07:51
                                      Django – Lektion 064. So schreiben Sie eine Python-Markdown-Erweiterung Приветствую Евгений! У меня вопрос. Можно ли вставлять свои классы в разметку редактора markdown? Допустим имея стандартную разметку: <ul> <li></li> <li></l…
                                      d
                                      dblas55. Juli 2024 11:02
                                      QML - Lektion 016. SQLite-Datenbank und das Arbeiten damit in QML Qt Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
                                      k
                                      kmssr8. Februar 2024 18:43
                                      Qt Linux - Lektion 001. Autorun Qt-Anwendung unter Linux как сделать автозапуск для флэтпака, который не даёт создавать файлы в ~/.config - вот это вопрос ))
                                      Qt WinAPI - Lektion 007. Arbeiten mit ICMP-Ping in Qt Без строки #include <QRegularExpressionValidator> в заголовочном файле не работает валидатор.
                                      EVA
                                      EVA25. Dezember 2023 10:30
                                      Boost - statisches Verknüpfen im CMake-Projekt unter Windows Ошибка LNK1104 часто возникает, когда компоновщик не может найти или открыть файл библиотеки. В вашем случае, это файл libboost_locale-vc142-mt-gd-x64-1_74.lib из библиотеки Boost для C+…
                                      Jetzt im Forum diskutieren
                                      J
                                      JacobFib17. Oktober 2024 03:27
                                      добавить qlineseries в функции Пользователь может получить любые разъяснения по интересующим вопросам, касающимся обработки его персональных данных, обратившись к Оператору с помощью электронной почты https://topdecorpro.ru…
                                      JW
                                      Jhon Wick1. Oktober 2024 15:52
                                      Indian Food Restaurant In Columbus OH| Layla’s Kitchen Indian Restaurant If you're looking for a truly authentic https://www.laylaskitchenrestaurantohio.com/ , Layla’s Kitchen Indian Restaurant is your go-to destination. Located at 6152 Cleveland Ave, Colu…
                                      КГ
                                      Кирилл Гусарев27. September 2024 09:09
                                      Не запускается программа на Qt: точка входа в процедуру не найдена в библиотеке DLL Написал программу на C++ Qt в Qt Creator, сбилдил Release с помощью MinGW 64-bit, бинарнику напихал dll-ки с помощью windeployqt.exe. При попытке запуска моей сбилженной программы выдаёт три оши…
                                      F
                                      Fynjy22. Juli 2024 04:15
                                      при создании qml проекта Kits есть но недоступны для выбора Поставил Qt Creator 11.0.2. Qt 6.4.3 При создании проекта Qml не могу выбрать Kits, они все недоступны, хотя настроены и при создании обычного Qt Widget приложения их можно выбрать. В чем может …

                                      Folgen Sie uns in sozialen Netzwerken