Виталий Антипов
Виталий Антипов26 січня 2018 р. 04:34

"database is locked Невозможно получить строку"

Добрый день! При многопользовательском использовании sqlite3, первая программа, создавшая соединение, имеет все права, остальные могут только читать базу. Любая попытка создания, редактирования, удаления приводят к примерно такому:

error delete row  Baza
"database is locked Невозможно получить строку"
Подскажите, как безопасно решить эту проблему?
Рекомендуємо хостинг TIMEWEB
Рекомендуємо хостинг TIMEWEB
Стабільний хостинг, на якому розміщується соціальна мережа EVILEG. Для проектів на Django радимо VDS хостинг.

Вам це подобається? Поділіться в соціальних мережах!

18
Evgenii Legotckoi
  • 26 січня 2018 р. 04:48
  • (відредаговано)

Добрый день. Могу только предложить закрывать соединение с базой данных, когда программме не требуется получать данные или записывать.

SQLite не предназначен для многопользовательских систем сам по себе.

Либо лучшим решением будет использовать MySQL или PostgreSQL. Рекомендую PostgreSQL.
    Виталий Антипов
    • 26 січня 2018 р. 05:08

    К сожалению, клиент-серверные бд мне не подходят - нет доступа к серверу. А постоянно открывать-закрывать соединения... даже не знаю, слишком костыльно чтоли.

      Evgenii Legotckoi
      • 26 січня 2018 р. 05:13
      • (відредаговано)
      • Відповідь була позначена як рішення.

      Как вариант, можно попробовать работать с транзакциями, то есть открывать транзакции и закрывать их при каждой записи.

      QSqlDatabase db = QSqlDatabase::database();
      db.transaction();
       
      QSqlQuery q;
      qDebug() << q.exec("SELECT;"); 
       
      q.clear();
      if(!db.commit()){
      db.rollback();
      }
      В общем-то для такого они и предназначены, но мне как-то не было необходимости настолько вручную управлять данным процессом.
      Проверьте, может поможет решить вашу проблему. Но по факту это один из правильных путей.
        Виталий Антипов
        • 26 січня 2018 р. 05:15

        Спасибо, попробую.

          Виталий Антипов
          • 26 січня 2018 р. 07:40

          Сделал вот так:

          bool DataBase::insertIntoTable(const QVariantList &data)
          {
              QSqlDatabase db = QSqlDatabase::database();
              db.transaction();
              QSqlQuery querys;
              querys.prepare("INSERT INTO ... ");
              if(!querys.exec()){
                  qDebug() << "error insert into ";
                  qDebug() << querys.lastError().text();
                  return false;
              } else {
                  querys.clear();
                  qDebug() << "db.commit() = "<<db.commit();
                  if(!db.commit()){
                  db.rollback();
                  }
                  return true;
              }
              return false;
          }
          Запускаю две программы с обращением к одной базе и пытаясь сделать запись получаю db.commit() = false.
          Закрываю одну программу, произвожу запись и db.commit() = true, запись прошла успешно.
          В документации написано:
          Note: For some databases, the commit will fail and return false if there is an active query using the database for a SELECT . Make the query inactive before doing the commit.
          То есть получается, что SELECT'ы одной программы блокируют базу для операций записи, редактирования и удаления другой. У меня при открытии программы интерфейс заполняется данными из моделей и mapper с использованием таких запросов:
          this->setQuery("SELECT ... ");
          И я так понимаю, что они висят активными. В документации про bool QSqlQuery::isActive() const пишут следующее:
          Returns true if the query is active . An active QSqlQuery is one that has been exec()'d successfully but not yet finished with. When you are finished with an active query, you can make the query inactive by calling finish () or clear (), or you can delete the QSqlQuery instance.

          Note: Of particular interest is an active query that is a SELECT statement. For some databases that support transactions, an active query that is a SELECT statement can cause a commit() or a rollback() to fail, so before committing or rolling back, you should make your active SELECT statement query inactive using one of the ways listed above.

          То есть все SELECT надо делать неактивными после использования.

          В документации по setQuery() обращают внимание, что запрос должен быть активным. В итоге замкнутый круг :(

            Виталий Антипов
            • 26 січня 2018 р. 14:01

            У меня такой вот вопрос, а нельзя ли как-то получив из setQuery() в модель данные, эту модель сохранить в памяти, чтобы можно было очистить setQuery, а сохраненную модель отправить в интерфейс?

              Evgenii Legotckoi
              • 26 січня 2018 р. 15:49

              Я правильно понимаю, что вы в большинстве случае используете QSqlQueryModel для интерфейса?
              Теоретически можно написать свою модель данных, которая будет использовать запросы к базе данных.

              Там просто будет вектор, с которым вы будете работать для отдачи данных и редактирования, но для обновления интерфейса будете пользоваться сырыми SQL запросами.
                Виталий Антипов
                • 26 січня 2018 р. 16:48

                Да, в подавляющем большинстве. С такой проблемой многие столкнулись, судя по форумам. QSqlQueryModel всегда держит соединение активным и никуда от этого не уйти, жаль что этого не знал раньше. Придется львиную часть логики переписывать. На уме два варианта - формировать какие-то виртуальные таблицы и использовать setQuery() к ним, либо как вы говорите делать свою модель. Модель мне нужна только для отдачи данных, изменения в базу вношу прямыми запросами. Я так понимаю, надо QVector заполнять примерно так:

                while(query.next()) {
                    vector.append(query.value(0).toString());
                    vector.append(query.value(1).toString());
                }
                Но вот как быть с ролями? Мне пока трудно понять что представляет собой QVector.
                  Evgenii Legotckoi
                  • 26 січня 2018 р. 17:07

                  Результат запроса можно выразить классом или структурой. Каждая структура будет иметь несколько полей, которые фактически будут являться колонками строк в запросе.

                  struct SomeRecord
                  {
                      int id;
                      QString name;
                      double value;
                  }
                  Вы будете иметь вектор с этими строками
                  QVector<SomeRecord> records;
                  Заполнять по идее надо будет так
                  while(query.next()) {
                      SomeRecord record;
                      record.id = query.value(0).toInt();
                      record.name = query.value(1).toString();
                      record.value = query.value(2).toDouble();
                      records.push_back(record);
                  }
                  А дальше с этим вектором делаете что хотите. Наиболее часто советуемый мной пример является пример из Qt Creator`a про AnimalModel. На основе него можете посмотреть как сделать рабочую модель с вектором данных внутри для отображения в таблице.
                   
                  Надеюсь, что это поможет. По хорошему, Вам бы проверить на прототипном приложении, помогают ли вообще эти транзакции для того, чтобы отпустить владение базой данных при активном подсоединении двух приложении. Я такого не пробовал, но имею предположение, что это может помочь.
                    Виталий Антипов
                    • 26 січня 2018 р. 17:41

                    Спасибо! Только что смотрел пример AnimalModel. Вроде все понятно. А транзакции обязательно посмотрю, только в моем случае она не поможет. В документации пишут, что в некоторых случаях при транзакции SELECT db.commit() = false и необходимо закрыть запрос вручную. В моем случае использования QSqlQueryModel если сделать запросу finish(), то очистятся все данные модели, останутся только колонки и строки (первоначальная таблица стала пустой, сохранив свой размер), если clear(), то удаляется вся модель. Я тут ради интереса в обеих программах INSERT обернул в транзакции. При параллельной работе на одну базу вставка нигде не прошла. Надеюсь QVector поможет. Еще раз спасибо!

                      Виталий Антипов
                      • 27 січня 2018 р. 06:52
                      • (відредаговано)

                      Создал тестовое приложение с QSqlQueryModel. Запустил releas и debug версии с подключением к одной базе. База заблокирована. По вашему совету все таки обернул setQuery() в транзакцию:

                      void ListModel::updateModel()
                      {    
                          QSqlDatabase db = QSqlDatabase::database();
                          db.transaction();
                          this->setQuery("SELECT ... ");
                          while(this->canFetchMore()){
                             this->fetchMore();
                          }
                      if(!db.commit()){ db.rollback(); } qDebug()<<"db.commit() = "<<db.commit(); //false }
                      И о чудо! Данные добавляются, удаляются, база не блокируется. Все супер! Спасибо за совет, пошел писать транзакции на все селекты основной программы.
                        Evgenii Legotckoi
                        • 27 січня 2018 р. 06:54

                        Вот и хорошо, что получилось всё. Успехов.

                          Виталий Антипов
                          • 27 січня 2018 р. 08:15

                          Важное дополнение для тех кто встретится с такой же проблемой. Использование fetchMore() обязательно!

                          while(this->canFetchMore()){
                                  this->fetchMore();
                              }
                          Проверено на тесте базы с 2000 записей, просто использование транзакции не помогает. Дело в том, что модель через setQuery() не загружает все данные, а подгружает их по мере необходимости. Из-за этого запрос висит активным и блокирует базу. Выше указанный код насильно грузит все данные в модель, что в связке с транзакцией разблокирует базу.
                            Evgenii Legotckoi
                            • 29 січня 2018 р. 06:51
                            • (відредаговано)

                            я вот сейчас подумал... это ж какой трындец будет, если в базе данных будет под 100 000 записей. Подобный запрос будет давать весомую нагрузку как на приложение, так и на саму базу данных, если обновления таблицы понадобится проводить довольно часто.

                            Следует предусмотреть возможность построчного обновления таблиц при их редактировании и удалении отдельных строк с кешированием выборки SELECT на стороне приложения, чтобы не дёргать каждый раз по 100 000 записей. Иначе это будет чревато тормозами самого приложения у пользователя.
                              Виталий Антипов
                              • 29 січня 2018 р. 10:26

                              Евгений, я провел тестирование на 337 000 записей. Результаты фантастические. Визуально скорость загрузки осталась та же что и для 2 000 записей - примерно 1 сек. Но есть нюанс - это при прямых запросах. А вот с вложенными сложнее.

                              void ListModelStatIzmerAgr::updateModel()
                              {
                                  QSqlDatabase db = QSqlDatabase::database();
                                  db.transaction();    
                                  this->setQuery("select Baza.id, Baza.KKS, (select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id) as total, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_Rezhim = 1) as hh, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_Rezhim = 2) as nom, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_Rezhim = 3) as rd, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 1) as pnr, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 2) as pnrdop, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 3) as ekspl, "
                                                 "(select count(*) from BazaIzmereni where BazaIzmereni.id_Baza = Baza.id and BazaIzmereni.id_TipIzmerenia = 4) as ekspldop "
                                                 "from Baza where total <> 0 order by 3 desc");
                                  while(this->canFetchMore()){
                                      this->fetchMore();
                                  }
                                  if(!db.commit()){
                                  db.rollback();
                                  }
                              }
                              Вот такой запрос для 337 000 в таблице Baza обрабатывается примерно 70 секунд. Где-то попадалось на форумах, что setQuery() не очень хорошо работает со сложными запросами и без fetchMore() все данные не вытягивает. Там смысл в том, что при простых запросах база отдает информацию об общем количестве строк и грузится все сразу, а в сложных запросах количество записей неизвестно и в Qt посчитали необходимым жестко зафиксировать получение 256 записей. Если сделать fetchMore() новое ограничение станет 512 и т.д.
                              Провел еще один эксперимент. Сначала подключился к малой базе и вывел в интерфейс кастомную таблицу с 2000 записей, а затем в программе переподключился к большой базе и вывел в интерфейс этой же моделью 337000 записей. Программа даже не задумалась - моментально все.
                                Виталий Антипов
                                • 29 січня 2018 р. 10:47

                                У меня такое ощущение, что fetchMore() при прямых запросах ничего не делает, судя по скорости модель так же подгружается по мере необходимости. Но этот метод как-то разблокирует базу, то есть сообщает драйверу что запрос выполнен до конца и не активен. А по документации setQuery() используется только при активном запросе, и он походу и остается активным. Это все догадки конечно, исходники я не смотрел.

                                  Evgenii Legotckoi
                                  • 29 січня 2018 р. 16:05

                                  К сожалению, ничего не могу сказать за внутренности реализации модуля SQL в Qt. Тоже не доводилось им пользоваться.

                                  Как вариант можно посмотреть ещё в сторону Wt::dbo - это орм. Требует для себя Boost, и вяжется с Qt. На работе используем для крупного проекта с использованием SQLite. Правда не уверен насчёт нескольких приложений одновременно, но точно знаю, что всё заполнение там идёт через транзакции. Мы всегда открываем транзакцию, а потом закрываем её, когда работа с базой данных была завершена. То есть был выполнен некоторый запрос и т.д.

                                  Правда это более сложных подход. Тут придётся все модели писать самостоятельно...
                                    ЭА
                                    • 19 липня 2023 р. 08:32

                                    Спасибо, этот тред оооочень помог. Долго ломал голову, почему на 257 записи всё падает.

                                      Коментарі

                                      Only authorized users can post comments.
                                      Please, Log in or Sign up
                                      AD

                                      C++ - Тест 004. Указатели, Массивы и Циклы

                                      • Результат:50бали,
                                      • Рейтинг балів-4
                                      m
                                      • molni99
                                      • 26 жовтня 2024 р. 11:37

                                      C++ - Тест 004. Указатели, Массивы и Циклы

                                      • Результат:80бали,
                                      • Рейтинг балів4
                                      m
                                      • molni99
                                      • 26 жовтня 2024 р. 11:29

                                      C++ - Тест 004. Указатели, Массивы и Циклы

                                      • Результат:20бали,
                                      • Рейтинг балів-10
                                      Останні коментарі
                                      ИМ
                                      Игорь Максимов22 листопада 2024 р. 22:51
                                      Django - Підручник 017. Налаштуйте сторінку входу до Django Добрый вечер Евгений! Я сделал себе авторизацию аналогичную вашей, все работает, кроме возврата к предидущей странице. Редеректит всегда на главную, хотя в логах сервера вижу запросы на правильн…
                                      Evgenii Legotckoi
                                      Evgenii Legotckoi01 листопада 2024 р. 00:37
                                      Django - Урок 064. Як написати розширення для Python Markdown Добрый день. Да, можно. Либо через такие же плагины, либо с постобработкой через python библиотеку Beautiful Soup
                                      A
                                      ALO1ZE19 жовтня 2024 р. 18:19
                                      Читалка файлів fb3 на Qt Creator Подскажите как это запустить? Я не шарю в программировании и кодинге. Скачал и установаил Qt, но куча ошибок выдается и не запустить. А очень надо fb3 переконвертировать в html
                                      ИМ
                                      Игорь Максимов05 жовтня 2024 р. 17:51
                                      Django - Урок 064. Як написати розширення для Python Markdown Приветствую Евгений! У меня вопрос. Можно ли вставлять свои классы в разметку редактора markdown? Допустим имея стандартную разметку: <ul> <li></li> <li></l…
                                      d
                                      dblas505 липня 2024 р. 21:02
                                      QML - Урок 016. База даних SQLite та робота з нею в QML Qt Здравствуйте, возникает такая проблема (я новичок): ApplicationWindow неизвестный элемент. (М300) для TextField и Button аналогично. Могу предположить, что из-за более новой верси…
                                      Тепер обговоріть на форумі
                                      Evgenii Legotckoi
                                      Evgenii Legotckoi25 червня 2024 р. 01:11
                                      добавить qlineseries в функции Я тут. Работы оень много. Отправил его в бан.
                                      t
                                      tonypeachey115 листопада 2024 р. 17:04
                                      google domain [url=https://google.com/]domain[/url] domain [http://www.example.com link title]
                                      NSProject
                                      NSProject04 червня 2022 р. 13:49
                                      Всё ещё разбираюсь с кешем. В следствии прочтения данной статьи. Я принял для себя решение сделать кеширование свойств менеджера модели LikeDislike. И так как установка evileg_core для меня не была возможна, ибо он писался…
                                      9
                                      9Anonim25 жовтня 2024 р. 19:10
                                      Машина тьюринга // Начальное состояние 0 0, ,<,1 // Переход в состояние 1 при пустом символе 0,0,>,0 // Остаемся в состоянии 0, двигаясь вправо при встрече 0 0,1,>…

                                      Слідкуйте за нами в соціальних мережах