Виталий Антипов
Виталий АнтиповJan. 26, 2018, 4:34 a.m.

"database is locked Невозможно получить строку"

Добрый день! При многопользовательском использовании sqlite3, первая программа, создавшая соединение, имеет все права, остальные могут только читать базу. Любая попытка создания, редактирования, удаления приводят к примерно такому:

error delete row  Baza
"database is locked Невозможно получить строку"
Подскажите, как безопасно решить эту проблему?
We recommend hosting TIMEWEB
We recommend hosting TIMEWEB
Stable hosting, on which the social network EVILEG is located. For projects on Django we recommend VDS hosting.

Do you like it? Share on social networks!

18
Evgenii Legotckoi
  • Jan. 26, 2018, 4:48 a.m.
  • (edited)

Добрый день. Могу только предложить закрывать соединение с базой данных, когда программме не требуется получать данные или записывать.

SQLite не предназначен для многопользовательских систем сам по себе.

Либо лучшим решением будет использовать MySQL или PostgreSQL. Рекомендую PostgreSQL.
    Виталий Антипов
    • Jan. 26, 2018, 5:08 a.m.

    К сожалению, клиент-серверные бд мне не подходят - нет доступа к серверу. А постоянно открывать-закрывать соединения... даже не знаю, слишком костыльно чтоли.

      Evgenii Legotckoi
      • Jan. 26, 2018, 5:13 a.m.
      • (edited)
      • The answer was marked as a solution.

      Как вариант, можно попробовать работать с транзакциями, то есть открывать транзакции и закрывать их при каждой записи.

      QSqlDatabase db = QSqlDatabase::database();
      db.transaction();
       
      QSqlQuery q;
      qDebug() << q.exec("SELECT;"); 
       
      q.clear();
      if(!db.commit()){
      db.rollback();
      }
      В общем-то для такого они и предназначены, но мне как-то не было необходимости настолько вручную управлять данным процессом.
      Проверьте, может поможет решить вашу проблему. Но по факту это один из правильных путей.
        Виталий Антипов
        • Jan. 26, 2018, 5:15 a.m.

        Спасибо, попробую.

          Сделал вот так:

          bool DataBase::insertIntoTable(const QVariantList &data)
          {
              QSqlDatabase db = QSqlDatabase::database();
              db.transaction();
              QSqlQuery querys;
              querys.prepare("INSERT INTO ... ");
              if(!querys.exec()){
                  qDebug() << "error insert into ";
                  qDebug() << querys.lastError().text();
                  return false;
              } else {
                  querys.clear();
                  qDebug() << "db.commit() = "<<db.commit();
                  if(!db.commit()){
                  db.rollback();
                  }
                  return true;
              }
              return false;
          }
          Запускаю две программы с обращением к одной базе и пытаясь сделать запись получаю db.commit() = false.
          Закрываю одну программу, произвожу запись и db.commit() = true, запись прошла успешно.
          В документации написано:
          Note: For some databases, the commit will fail and return false if there is an active query using the database for a SELECT . Make the query inactive before doing the commit.
          То есть получается, что SELECT'ы одной программы блокируют базу для операций записи, редактирования и удаления другой. У меня при открытии программы интерфейс заполняется данными из моделей и mapper с использованием таких запросов:
          this->setQuery("SELECT ... ");
          И я так понимаю, что они висят активными. В документации про bool QSqlQuery::isActive() const пишут следующее:
          Returns true if the query is active . An active QSqlQuery is one that has been exec()'d successfully but not yet finished with. When you are finished with an active query, you can make the query inactive by calling finish () or clear (), or you can delete the QSqlQuery instance.

          Note: Of particular interest is an active query that is a SELECT statement. For some databases that support transactions, an active query that is a SELECT statement can cause a commit() or a rollback() to fail, so before committing or rolling back, you should make your active SELECT statement query inactive using one of the ways listed above.

          То есть все SELECT надо делать неактивными после использования.

          В документации по setQuery() обращают внимание, что запрос должен быть активным. В итоге замкнутый круг :(

            Виталий Антипов
            • Jan. 26, 2018, 2:01 p.m.

            У меня такой вот вопрос, а нельзя ли как-то получив из setQuery() в модель данные, эту модель сохранить в памяти, чтобы можно было очистить setQuery, а сохраненную модель отправить в интерфейс?

              Я правильно понимаю, что вы в большинстве случае используете QSqlQueryModel для интерфейса?
              Теоретически можно написать свою модель данных, которая будет использовать запросы к базе данных.

              Там просто будет вектор, с которым вы будете работать для отдачи данных и редактирования, но для обновления интерфейса будете пользоваться сырыми SQL запросами.

                Да, в подавляющем большинстве. С такой проблемой многие столкнулись, судя по форумам. QSqlQueryModel всегда держит соединение активным и никуда от этого не уйти, жаль что этого не знал раньше. Придется львиную часть логики переписывать. На уме два варианта - формировать какие-то виртуальные таблицы и использовать setQuery() к ним, либо как вы говорите делать свою модель. Модель мне нужна только для отдачи данных, изменения в базу вношу прямыми запросами. Я так понимаю, надо QVector заполнять примерно так:

                while(query.next()) {
                    vector.append(query.value(0).toString());
                    vector.append(query.value(1).toString());
                }
                Но вот как быть с ролями? Мне пока трудно понять что представляет собой QVector.

                  Результат запроса можно выразить классом или структурой. Каждая структура будет иметь несколько полей, которые фактически будут являться колонками строк в запросе.

                  struct SomeRecord
                  {
                      int id;
                      QString name;
                      double value;
                  }
                  Вы будете иметь вектор с этими строками
                  QVector<SomeRecord> records;
                  Заполнять по идее надо будет так
                  while(query.next()) {
                      SomeRecord record;
                      record.id = query.value(0).toInt();
                      record.name = query.value(1).toString();
                      record.value = query.value(2).toDouble();
                      records.push_back(record);
                  }
                  А дальше с этим вектором делаете что хотите. Наиболее часто советуемый мной пример является пример из Qt Creator`a про AnimalModel. На основе него можете посмотреть как сделать рабочую модель с вектором данных внутри для отображения в таблице.
                   
                  Надеюсь, что это поможет. По хорошему, Вам бы проверить на прототипном приложении, помогают ли вообще эти транзакции для того, чтобы отпустить владение базой данных при активном подсоединении двух приложении. Я такого не пробовал, но имею предположение, что это может помочь.

                    Спасибо! Только что смотрел пример AnimalModel. Вроде все понятно. А транзакции обязательно посмотрю, только в моем случае она не поможет. В документации пишут, что в некоторых случаях при транзакции SELECT db.commit() = false и необходимо закрыть запрос вручную. В моем случае использования QSqlQueryModel если сделать запросу finish(), то очистятся все данные модели, останутся только колонки и строки (первоначальная таблица стала пустой, сохранив свой размер), если clear(), то удаляется вся модель. Я тут ради интереса в обеих программах INSERT обернул в транзакции. При параллельной работе на одну базу вставка нигде не прошла. Надеюсь QVector поможет. Еще раз спасибо!

                      Виталий Антипов
                      • Jan. 27, 2018, 6:52 a.m.
                      • (edited)

                      Создал тестовое приложение с QSqlQueryModel. Запустил releas и debug версии с подключением к одной базе. База заблокирована. По вашему совету все таки обернул setQuery() в транзакцию:

                      void ListModel::updateModel()
                      {    
                          QSqlDatabase db = QSqlDatabase::database();
                          db.transaction();
                          this->setQuery("SELECT ... ");
                          while(this->canFetchMore()){
                             this->fetchMore();
                          }
                      if(!db.commit()){ db.rollback(); } qDebug()<<"db.commit() = "<<db.commit(); //false }
                      И о чудо! Данные добавляются, удаляются, база не блокируется. Все супер! Спасибо за совет, пошел писать транзакции на все селекты основной программы.

                        Вот и хорошо, что получилось всё. Успехов.

                          Виталий Антипов
                          • Jan. 27, 2018, 8:15 a.m.

                          Важное дополнение для тех кто встретится с такой же проблемой. Использование fetchMore() обязательно!

                          while(this->canFetchMore()){
                                  this->fetchMore();
                              }
                          Проверено на тесте базы с 2000 записей, просто использование транзакции не помогает. Дело в том, что модель через setQuery() не загружает все данные, а подгружает их по мере необходимости. Из-за этого запрос висит активным и блокирует базу. Выше указанный код насильно грузит все данные в модель, что в связке с транзакцией разблокирует базу.
                            Evgenii Legotckoi
                            • Jan. 29, 2018, 6:51 a.m.
                            • (edited)

                            я вот сейчас подумал... это ж какой трындец будет, если в базе данных будет под 100 000 записей. Подобный запрос будет давать весомую нагрузку как на приложение, так и на саму базу данных, если обновления таблицы понадобится проводить довольно часто.

                            Следует предусмотреть возможность построчного обновления таблиц при их редактировании и удалении отдельных строк с кешированием выборки SELECT на стороне приложения, чтобы не дёргать каждый раз по 100 000 записей. Иначе это будет чревато тормозами самого приложения у пользователя.

                              Евгений, я провел тестирование на 337 000 записей. Результаты фантастические. Визуально скорость загрузки осталась та же что и для 2 000 записей - примерно 1 сек. Но есть нюанс - это при прямых запросах. А вот с вложенными сложнее.

                              void ListModelStatIzmerAgr::updateModel()
                              {
                                  QSqlDatabase db = QSqlDatabase::database();
                                  db.transaction();    
                                  this->setQuery("select Baza.id, Baza.KKS, (select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id) as total, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_Rezhim = 1) as hh, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_Rezhim = 2) as nom, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_Rezhim = 3) as rd, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 1) as pnr, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 2) as pnrdop, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 3) as ekspl, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 4) as ekspldop "
                                                 "from Baza where total <> 0 order by 3 desc");
                                  while(this->canFetchMore()){
                                      this->fetchMore();
                                  }
                                  if(!db.commit()){
                                  db.rollback();
                                  }
                              }
                              Вот такой запрос для 337 000 в таблице Baza обрабатывается примерно 70 секунд. Где-то попадалось на форумах, что setQuery() не очень хорошо работает со сложными запросами и без fetchMore() все данные не вытягивает. Там смысл в том, что при простых запросах база отдает информацию об общем количестве строк и грузится все сразу, а в сложных запросах количество записей неизвестно и в Qt посчитали необходимым жестко зафиксировать получение 256 записей. Если сделать fetchMore() новое ограничение станет 512 и т.д.
                              Провел еще один эксперимент. Сначала подключился к малой базе и вывел в интерфейс кастомную таблицу с 2000 записей, а затем в программе переподключился к большой базе и вывел в интерфейс этой же моделью 337000 записей. Программа даже не задумалась - моментально все.
                                Виталий Антипов
                                • Jan. 29, 2018, 10:47 a.m.

                                У меня такое ощущение, что fetchMore() при прямых запросах ничего не делает, судя по скорости модель так же подгружается по мере необходимости. Но этот метод как-то разблокирует базу, то есть сообщает драйверу что запрос выполнен до конца и не активен. А по документации setQuery() используется только при активном запросе, и он походу и остается активным. Это все догадки конечно, исходники я не смотрел.

                                  К сожалению, ничего не могу сказать за внутренности реализации модуля SQL в Qt. Тоже не доводилось им пользоваться.

                                  Как вариант можно посмотреть ещё в сторону Wt::dbo - это орм. Требует для себя Boost, и вяжется с Qt. На работе используем для крупного проекта с использованием SQLite. Правда не уверен насчёт нескольких приложений одновременно, но точно знаю, что всё заполнение там идёт через транзакции. Мы всегда открываем транзакцию, а потом закрываем её, когда работа с базой данных была завершена. То есть был выполнен некоторый запрос и т.д.

                                  Правда это более сложных подход. Тут придётся все модели писать самостоятельно...
                                    ЭА
                                    • July 19, 2023, 8:32 a.m.

                                    Спасибо, этот тред оооочень помог. Долго ломал голову, почему на 257 записи всё падает.

                                      Comments

                                      Only authorized users can post comments.
                                      Please, Log in or Sign up
                                      AD

                                      C ++ - Test 004. Pointers, Arrays and Loops

                                      • Result:50points,
                                      • Rating points-4
                                      m

                                      C ++ - Test 004. Pointers, Arrays and Loops

                                      • Result:80points,
                                      • Rating points4
                                      m

                                      C ++ - Test 004. Pointers, Arrays and Loops

                                      • Result:20points,
                                      • Rating points-10
                                      Last comments
                                      Evgenii Legotckoi
                                      Evgenii LegotckoiNov. 1, 2024, 12:37 a.m.
                                      Django - Lesson 064. How to write a Python Markdown extension Добрый день. Да, можно. Либо через такие же плагины, либо с постобработкой через python библиотеку Beautiful Soup
                                      A
                                      ALO1ZEOct. 19, 2024, 6:19 p.m.
                                      Fb3 file reader on Qt Creator Подскажите как это запустить? Я не шарю в программировании и кодинге. Скачал и установаил Qt, но куча ошибок выдается и не запустить. А очень надо fb3 переконвертировать в html
                                      ИМ
                                      Игорь МаксимовOct. 5, 2024, 5:51 p.m.
                                      Django - Lesson 064. How to write a Python Markdown extension Приветствую Евгений! У меня вопрос. Можно ли вставлять свои классы в разметку редактора markdown? Допустим имея стандартную разметку: <ul> <li></li> <li></l…
                                      d
                                      dblas5July 5, 2024, 9:02 p.m.
                                      QML - Lesson 016. SQLite database and the working with it in QML Qt Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
                                      k
                                      kmssrFeb. 9, 2024, 5:43 a.m.
                                      Qt Linux - Lesson 001. Autorun Qt application under Linux как сделать автозапуск для флэтпака, который не даёт создавать файлы в ~/.config - вот это вопрос ))
                                      Now discuss on the forum
                                      Evgenii Legotckoi
                                      Evgenii LegotckoiJune 25, 2024, 1:11 a.m.
                                      добавить qlineseries в функции Я тут. Работы оень много. Отправил его в бан.
                                      t
                                      tonypeachey1Nov. 15, 2024, 5:04 p.m.
                                      google domain [url=https://google.com/]domain[/url] domain [http://www.example.com link title]
                                      NSProject
                                      NSProjectJune 4, 2022, 1:49 p.m.
                                      Всё ещё разбираюсь с кешем. В следствии прочтения данной статьи. Я принял для себя решение сделать кеширование свойств менеджера модели LikeDislike. И так как установка evileg_core для меня не была возможна, ибо он писался…
                                      9
                                      9AnonimOct. 25, 2024, 7:10 p.m.
                                      Машина тьюринга // Начальное состояние 0 0, ,<,1 // Переход в состояние 1 при пустом символе 0,0,>,0 // Остаемся в состоянии 0, двигаясь вправо при встрече 0 0,1,>…

                                      Follow us in social networks