Виталий Антипов
Виталий Антипов26 января 2018 г. 4:34

"database is locked Невозможно получить строку"

Добрый день! При многопользовательском использовании sqlite3, первая программа, создавшая соединение, имеет все права, остальные могут только читать базу. Любая попытка создания, редактирования, удаления приводят к примерно такому:

error delete row  Baza
"database is locked Невозможно получить строку"
Подскажите, как безопасно решить эту проблему?
Рекомендуем хостинг TIMEWEB
Рекомендуем хостинг TIMEWEB
Стабильный хостинг, на котором располагается социальная сеть EVILEG. Для проектов на Django рекомендуем VDS хостинг.

Вам это нравится? Поделитесь в социальных сетях!

18
Evgenii Legotckoi
  • 26 января 2018 г. 4:48
  • (ред.)

Добрый день. Могу только предложить закрывать соединение с базой данных, когда программме не требуется получать данные или записывать.

SQLite не предназначен для многопользовательских систем сам по себе.

Либо лучшим решением будет использовать MySQL или PostgreSQL. Рекомендую PostgreSQL.
    Виталий Антипов
    • 26 января 2018 г. 5:08

    К сожалению, клиент-серверные бд мне не подходят - нет доступа к серверу. А постоянно открывать-закрывать соединения... даже не знаю, слишком костыльно чтоли.

      Evgenii Legotckoi
      • 26 января 2018 г. 5:13
      • (ред.)
      • Ответ был помечен как решение.

      Как вариант, можно попробовать работать с транзакциями, то есть открывать транзакции и закрывать их при каждой записи.

      QSqlDatabase db = QSqlDatabase::database();
      db.transaction();
       
      QSqlQuery q;
      qDebug() << q.exec("SELECT;"); 
       
      q.clear();
      if(!db.commit()){
      db.rollback();
      }
      В общем-то для такого они и предназначены, но мне как-то не было необходимости настолько вручную управлять данным процессом.
      Проверьте, может поможет решить вашу проблему. Но по факту это один из правильных путей.
        Виталий Антипов
        • 26 января 2018 г. 5:15

        Спасибо, попробую.

          Виталий Антипов
          • 26 января 2018 г. 7:40

          Сделал вот так:

          bool DataBase::insertIntoTable(const QVariantList &data)
          {
              QSqlDatabase db = QSqlDatabase::database();
              db.transaction();
              QSqlQuery querys;
              querys.prepare("INSERT INTO ... ");
              if(!querys.exec()){
                  qDebug() << "error insert into ";
                  qDebug() << querys.lastError().text();
                  return false;
              } else {
                  querys.clear();
                  qDebug() << "db.commit() = "<<db.commit();
                  if(!db.commit()){
                  db.rollback();
                  }
                  return true;
              }
              return false;
          }
          Запускаю две программы с обращением к одной базе и пытаясь сделать запись получаю db.commit() = false.
          Закрываю одну программу, произвожу запись и db.commit() = true, запись прошла успешно.
          В документации написано:
          Note: For some databases, the commit will fail and return false if there is an active query using the database for a SELECT . Make the query inactive before doing the commit.
          То есть получается, что SELECT'ы одной программы блокируют базу для операций записи, редактирования и удаления другой. У меня при открытии программы интерфейс заполняется данными из моделей и mapper с использованием таких запросов:
          this->setQuery("SELECT ... ");
          И я так понимаю, что они висят активными. В документации про bool QSqlQuery::isActive() const пишут следующее:
          Returns true if the query is active . An active QSqlQuery is one that has been exec()'d successfully but not yet finished with. When you are finished with an active query, you can make the query inactive by calling finish () or clear (), or you can delete the QSqlQuery instance.

          Note: Of particular interest is an active query that is a SELECT statement. For some databases that support transactions, an active query that is a SELECT statement can cause a commit() or a rollback() to fail, so before committing or rolling back, you should make your active SELECT statement query inactive using one of the ways listed above.

          То есть все SELECT надо делать неактивными после использования.

          В документации по setQuery() обращают внимание, что запрос должен быть активным. В итоге замкнутый круг :(

            Виталий Антипов
            • 26 января 2018 г. 14:01

            У меня такой вот вопрос, а нельзя ли как-то получив из setQuery() в модель данные, эту модель сохранить в памяти, чтобы можно было очистить setQuery, а сохраненную модель отправить в интерфейс?

              Evgenii Legotckoi
              • 26 января 2018 г. 15:49

              Я правильно понимаю, что вы в большинстве случае используете QSqlQueryModel для интерфейса?
              Теоретически можно написать свою модель данных, которая будет использовать запросы к базе данных.

              Там просто будет вектор, с которым вы будете работать для отдачи данных и редактирования, но для обновления интерфейса будете пользоваться сырыми SQL запросами.
                Виталий Антипов
                • 26 января 2018 г. 16:48

                Да, в подавляющем большинстве. С такой проблемой многие столкнулись, судя по форумам. QSqlQueryModel всегда держит соединение активным и никуда от этого не уйти, жаль что этого не знал раньше. Придется львиную часть логики переписывать. На уме два варианта - формировать какие-то виртуальные таблицы и использовать setQuery() к ним, либо как вы говорите делать свою модель. Модель мне нужна только для отдачи данных, изменения в базу вношу прямыми запросами. Я так понимаю, надо QVector заполнять примерно так:

                while(query.next()) {
                    vector.append(query.value(0).toString());
                    vector.append(query.value(1).toString());
                }
                Но вот как быть с ролями? Мне пока трудно понять что представляет собой QVector.
                  Evgenii Legotckoi
                  • 26 января 2018 г. 17:07

                  Результат запроса можно выразить классом или структурой. Каждая структура будет иметь несколько полей, которые фактически будут являться колонками строк в запросе.

                  struct SomeRecord
                  {
                      int id;
                      QString name;
                      double value;
                  }
                  Вы будете иметь вектор с этими строками
                  QVector<SomeRecord> records;
                  Заполнять по идее надо будет так
                  while(query.next()) {
                      SomeRecord record;
                      record.id = query.value(0).toInt();
                      record.name = query.value(1).toString();
                      record.value = query.value(2).toDouble();
                      records.push_back(record);
                  }
                  А дальше с этим вектором делаете что хотите. Наиболее часто советуемый мной пример является пример из Qt Creator`a про AnimalModel. На основе него можете посмотреть как сделать рабочую модель с вектором данных внутри для отображения в таблице.
                   
                  Надеюсь, что это поможет. По хорошему, Вам бы проверить на прототипном приложении, помогают ли вообще эти транзакции для того, чтобы отпустить владение базой данных при активном подсоединении двух приложении. Я такого не пробовал, но имею предположение, что это может помочь.
                    Виталий Антипов
                    • 26 января 2018 г. 17:41

                    Спасибо! Только что смотрел пример AnimalModel. Вроде все понятно. А транзакции обязательно посмотрю, только в моем случае она не поможет. В документации пишут, что в некоторых случаях при транзакции SELECT db.commit() = false и необходимо закрыть запрос вручную. В моем случае использования QSqlQueryModel если сделать запросу finish(), то очистятся все данные модели, останутся только колонки и строки (первоначальная таблица стала пустой, сохранив свой размер), если clear(), то удаляется вся модель. Я тут ради интереса в обеих программах INSERT обернул в транзакции. При параллельной работе на одну базу вставка нигде не прошла. Надеюсь QVector поможет. Еще раз спасибо!

                      Виталий Антипов
                      • 27 января 2018 г. 6:52
                      • (ред.)

                      Создал тестовое приложение с QSqlQueryModel. Запустил releas и debug версии с подключением к одной базе. База заблокирована. По вашему совету все таки обернул setQuery() в транзакцию:

                      void ListModel::updateModel()
                      {    
                          QSqlDatabase db = QSqlDatabase::database();
                          db.transaction();
                          this->setQuery("SELECT ... ");
                          while(this->canFetchMore()){
                             this->fetchMore();
                          }
                      if(!db.commit()){ db.rollback(); } qDebug()<<"db.commit() = "<<db.commit(); //false }
                      И о чудо! Данные добавляются, удаляются, база не блокируется. Все супер! Спасибо за совет, пошел писать транзакции на все селекты основной программы.
                        Evgenii Legotckoi
                        • 27 января 2018 г. 6:54

                        Вот и хорошо, что получилось всё. Успехов.

                          Виталий Антипов
                          • 27 января 2018 г. 8:15

                          Важное дополнение для тех кто встретится с такой же проблемой. Использование fetchMore() обязательно!

                          while(this->canFetchMore()){
                                  this->fetchMore();
                              }
                          Проверено на тесте базы с 2000 записей, просто использование транзакции не помогает. Дело в том, что модель через setQuery() не загружает все данные, а подгружает их по мере необходимости. Из-за этого запрос висит активным и блокирует базу. Выше указанный код насильно грузит все данные в модель, что в связке с транзакцией разблокирует базу.
                            Evgenii Legotckoi
                            • 29 января 2018 г. 6:51
                            • (ред.)

                            я вот сейчас подумал... это ж какой трындец будет, если в базе данных будет под 100 000 записей. Подобный запрос будет давать весомую нагрузку как на приложение, так и на саму базу данных, если обновления таблицы понадобится проводить довольно часто.

                            Следует предусмотреть возможность построчного обновления таблиц при их редактировании и удалении отдельных строк с кешированием выборки SELECT на стороне приложения, чтобы не дёргать каждый раз по 100 000 записей. Иначе это будет чревато тормозами самого приложения у пользователя.
                              Виталий Антипов
                              • 29 января 2018 г. 10:26

                              Евгений, я провел тестирование на 337 000 записей. Результаты фантастические. Визуально скорость загрузки осталась та же что и для 2 000 записей - примерно 1 сек. Но есть нюанс - это при прямых запросах. А вот с вложенными сложнее.

                              void ListModelStatIzmerAgr::updateModel()
                              {
                                  QSqlDatabase db = QSqlDatabase::database();
                                  db.transaction();    
                                  this->setQuery("select Baza.id, Baza.KKS, (select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id) as total, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_Rezhim = 1) as hh, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_Rezhim = 2) as nom, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_Rezhim = 3) as rd, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 1) as pnr, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 2) as pnrdop, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 3) as ekspl, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 4) as ekspldop "
                                                 "from Baza where total <> 0 order by 3 desc");
                                  while(this->canFetchMore()){
                                      this->fetchMore();
                                  }
                                  if(!db.commit()){
                                  db.rollback();
                                  }
                              }
                              Вот такой запрос для 337 000 в таблице Baza обрабатывается примерно 70 секунд. Где-то попадалось на форумах, что setQuery() не очень хорошо работает со сложными запросами и без fetchMore() все данные не вытягивает. Там смысл в том, что при простых запросах база отдает информацию об общем количестве строк и грузится все сразу, а в сложных запросах количество записей неизвестно и в Qt посчитали необходимым жестко зафиксировать получение 256 записей. Если сделать fetchMore() новое ограничение станет 512 и т.д.
                              Провел еще один эксперимент. Сначала подключился к малой базе и вывел в интерфейс кастомную таблицу с 2000 записей, а затем в программе переподключился к большой базе и вывел в интерфейс этой же моделью 337000 записей. Программа даже не задумалась - моментально все.
                                Виталий Антипов
                                • 29 января 2018 г. 10:47

                                У меня такое ощущение, что fetchMore() при прямых запросах ничего не делает, судя по скорости модель так же подгружается по мере необходимости. Но этот метод как-то разблокирует базу, то есть сообщает драйверу что запрос выполнен до конца и не активен. А по документации setQuery() используется только при активном запросе, и он походу и остается активным. Это все догадки конечно, исходники я не смотрел.

                                  Evgenii Legotckoi
                                  • 29 января 2018 г. 16:05

                                  К сожалению, ничего не могу сказать за внутренности реализации модуля SQL в Qt. Тоже не доводилось им пользоваться.

                                  Как вариант можно посмотреть ещё в сторону Wt::dbo - это орм. Требует для себя Boost, и вяжется с Qt. На работе используем для крупного проекта с использованием SQLite. Правда не уверен насчёт нескольких приложений одновременно, но точно знаю, что всё заполнение там идёт через транзакции. Мы всегда открываем транзакцию, а потом закрываем её, когда работа с базой данных была завершена. То есть был выполнен некоторый запрос и т.д.

                                  Правда это более сложных подход. Тут придётся все модели писать самостоятельно...
                                    ЭА
                                    • 19 июля 2023 г. 8:32

                                    Спасибо, этот тред оооочень помог. Долго ломал голову, почему на 257 записи всё падает.

                                      Комментарии

                                      Только авторизованные пользователи могут публиковать комментарии.
                                      Пожалуйста, авторизуйтесь или зарегистрируйтесь
                                      d
                                      • dsfs
                                      • 26 апреля 2024 г. 4:56

                                      C++ - Тест 004. Указатели, Массивы и Циклы

                                      • Результат:80баллов,
                                      • Очки рейтинга4
                                      d
                                      • dsfs
                                      • 26 апреля 2024 г. 4:45

                                      C++ - Тест 002. Константы

                                      • Результат:50баллов,
                                      • Очки рейтинга-4
                                      d
                                      • dsfs
                                      • 26 апреля 2024 г. 4:35

                                      C++ - Тест 001. Первая программа и типы данных

                                      • Результат:73баллов,
                                      • Очки рейтинга1
                                      Последние комментарии
                                      k
                                      kmssr8 февраля 2024 г. 18:43
                                      Qt Linux - Урок 001. Автозапуск Qt приложения под Linux как сделать автозапуск для флэтпака, который не даёт создавать файлы в ~/.config - вот это вопрос ))
                                      АК
                                      Анатолий Кононенко5 февраля 2024 г. 1:50
                                      Qt WinAPI - Урок 007. Работаем с ICMP Ping в Qt Без строки #include <QRegularExpressionValidator> в заголовочном файле не работает валидатор.
                                      EVA
                                      EVA25 декабря 2023 г. 10:30
                                      Boost - статическая линковка в CMake проекте под Windows Ошибка LNK1104 часто возникает, когда компоновщик не может найти или открыть файл библиотеки. В вашем случае, это файл libboost_locale-vc142-mt-gd-x64-1_74.lib из библиотеки Boost для C+…
                                      J
                                      JonnyJo25 декабря 2023 г. 8:38
                                      Boost - статическая линковка в CMake проекте под Windows Сделал всё по-как у вас, но выдаёт ошибку [build] LINK : fatal error LNK1104: не удается открыть файл "libboost_locale-vc142-mt-gd-x64-1_74.lib" Хоть убей, не могу понять в чём дел…
                                      G
                                      Gvozdik18 декабря 2023 г. 21:01
                                      Qt/C++ - Урок 056. Подключение библиотеки Boost в Qt для компиляторов MinGW и MSVC Для решения твой проблемы добавь в файл .pro строчку "LIBS += -lws2_32" она решит проблему , лично мне помогло.
                                      Сейчас обсуждают на форуме
                                      Evgenii Legotckoi
                                      Evgenii Legotckoi2 мая 2024 г. 14:07
                                      Мобильное приложение на C++Qt и бэкенд к нему на Django Rest Framework Добрый день. По моему мнению - да, но то, что будет касаться вызовов к функционалу Андроида, может создать огромные трудности.
                                      IscanderChe
                                      IscanderChe30 апреля 2024 г. 4:22
                                      Во Flask рендер шаблона не передаётся в браузер Доброе утро! Имеется вот такой шаблон: <!doctype html><html> <head> <title>{{ title }}</title> <link rel="stylesheet" href="{{ url_…
                                      G
                                      Gar22 апреля 2024 г. 5:46
                                      Clipboard Как скопировать окно целиком в clipb?
                                      Павел Дорофеев
                                      Павел Дорофеев14 апреля 2024 г. 2:35
                                      QTableWidget с 2 заголовками Вот тут есть кастомный QTableView с многорядностью проект поддерживается, обращайтесь
                                      f
                                      fastrex4 апреля 2024 г. 4:47
                                      Вернуть старое поведение QComboBox, не менять индекс при resetModel Добрый день! У нас много проектов в которых используется QComboBox, в версии 5.5.1, когда модель испускает сигнал resetModel, currentIndex не менялся. В версии 5.15 при resetModel происходит try…

                                      Следите за нами в социальных сетях