Dec. 6, 2019, 7:10 a.m.

подружить qml и opencv

OpenCV, qml, Python 3, QML

Доброго времени суток.
Пытаюсь сделать отображение с веб-камеры в графическом интерфейсе написанном на qml.
Код программы:

#системные библиотеки
import cv2
import numpy as np
import sys
import threading

#PyQt библиотеки
from PyQt5.QtCore import *
from PyQt5.QtGui import *
from PyQt5.QtQml import *
from PyQt5.QtQuick import *


class MyImageProvider(QQuickImageProvider):
    def __init__(self):
        super(MyImageProvider, self).__init__(QQuickImageProvider.Image)

    def requestImage(self, p_str, size):
        cap = cv2.VideoCapture(0)
        while True:
            ret, frame = cap.read()
            #image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
            height, width, channel = frame.shape
            #step = channel * width
            img = QImage(frame, width, height, QImage.Format_RGB888)
            #img.fill(Qt.green)
            return img, img.size()
            cv2.waitKey(1)

if __name__ == '__main__':
    app = QGuiApplication(sys.argv)
    MyImageProvider()
    engine = QQmlApplicationEngine()
    engine.addImageProvider("myprovider", MyImageProvider())
    engine.load(QUrl.fromLocalFile("tst.qml"))
    if len(engine.rootObjects()) == -1:
        sys.exit(-1)
    sys.exit(app.exec_())

Вот код формы:

import QtQuick 2.12
import QtQuick.Window 2.12

Window{
    visible: true
    width: 800
    height: 600
    title: ("QML OPENCV")
    color: "green"
    Image
    {
         //anchors.fill : parent
         source: "image://myprovider/test.png"
    }
}

Читал статью про слоты и сигналы в python , но пока не могу сообразить, как это всё складывается воедино.
Представленный код отображает окно с веб-камерой и окно qml интерфейста.

Есть на C++ образец... Я в нём не силён, подсобите перевести на python3. :)
Утечка памяти (OpenCV + QML)

Нашёл пример с изображением:
QQuickImageProvider PyQt5
С помощью этого примера почти получилось добиться желаемого результата. Получается, что отображается только последний снятый кадр веб-камерой, а не поток. Есть идеи, как сделать поток из кадров в форму qml?

Спасибо!

Вот такой набросок пока что получился.

We recommend hosting TIMEWEB
We recommend hosting TIMEWEB
Stable hosting, on which the social network EVILEG is located. For projects on Django we recommend VDS hosting.
21

Добрый день.
Да... OpenCV, конечно, интересная тема. Но вот я от неё далёк.
QQuickImageProvider использутеся для предоставления изображений, но точно не для потока этих самых изображений. В каком-то смысле все те примеры выглядят как костыли, поскольку QQuickImageProvider используется не по своему прямому назначению. Но тем не менее это должно работать.

Обратите своё внимание на то, что в примере с утечкой памяти имеется сигнал, который сообщает об изменении изображения на каждый новый кадр. Вам нужно сделать тоже самое. Вам нуэно использовать сигналы и слоты для этого. Не помню, вы уже кажется смотрели ту статью по сигналам и слотам PyQt5 - Урок 007. Работаем с QML QtQuick (Сигналы и слоты)

Добрый.
Да, я пытался связаться через сигналы и слоты, но у меня не выходит перевести программу с плюсов на питон. Если не затруднит помочь в переводе, то есть вероятность, что получится написать конечный результат. :)

Думаю, что в QQuickImageProvider следует добавить сигнал, что-то вроде такого

class MyImageProvider(QQuickImageProvider):
    frameChanged = pyqtSignal()

А потом как минимум подключить к этому сигналу обработчик в QML и посмотреть, сыпется ли что-то нибудь в консоль QML

Window
{
    visible: true
    width: 640
    height: 480
    title: ("QML OPENCV")
    color: "green"
    id: root

    // ...

    Connections
    {
        target: myprovider
        property int frameCounter: 0

        onFrameChanged:
        {
            frameCounter ^= 1;
            console.log(frameCounter); // проверяем здесь изменение счётчика
        }
    }
}

Тогда уже можно будет пытаться сообразить что-нибудь дальше

А через "console.log" Вы куда выводите сообщения? В PyCharm? Я работаю в основном в стандартной IDLE Python. Такое не срабатывает в стандартной IDLE. PyCharm у меня стоит.

вообще - это тоже должно сыпаться в консоль и без разницы, какую IDE использовать. К IDE это не должно иметь никакого отношения. Если вывода нет, то скорее всего не работает.

А да, ещё этот сигнал нужно вызывать

class MyImageProvider(QQuickImageProvider):
    frameChanged = pyqtSignal()

    def __init__(self):
        super(MyImageProvider, self).__init__(QQuickImageProvider.Image)

    def requestImage(self, p_str, size):
        cap = cv2.VideoCapture(0)
        while True:
            ret, frame = cap.read()
            #image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
            height, width, channel = frame.shape
            #step = channel * width
            img = QImage(frame, width, height, QImage.Format_RGB888)
            #img.fill(Qt.green)
            self.frameChanged.emit() # вызвать сигнал
            return img, img.size() # а вот из-за этого у вас выполняется выход из функции, 
            cv2.waitKey(1) # до выполнения этого кода метод никогда не доходит

И кстати сам запрос изображения у вас как-то странно написан

Вы сейчас разбираете некий костыль, посоветовали с сигналами и слотами поработать, вот и хочу с ними разобраться, если так имеет место быть более правильное решение.) Я могу по-новому написать, чтобы было понятнее работать.

что предоставлено, с тем и работаю. не писать же мне с нуля ваш проект ))

Это понятное дело.)
Я сделал вот так, чтобы проверить, работает ли счётчик.
Код программы:

# системные библиотеки
import cv2
import numpy as np
import sys
import threading

# PyQt библиотеки
from PyQt5.QtCore import *
from PyQt5.QtGui import *
from PyQt5.QtQml import *
from PyQt5.QtQuick import *


class MyImageProvider(QQuickImageProvider):
    def __init__(self):
        super(MyImageProvider, self).__init__(QQuickImageProvider.Image)

    frameChanged = pyqtSignal()

    def reauestSignal(self):

        self.frameChanged.emit()    #вызываю сигнал

if __name__ == '__main__':

    # создаём экземпляр приложения
    app = QGuiApplication(sys.argv)
    # создаём QML движок
    engine = QQmlApplicationEngine()
    # создаём объект vision
    videoProvider = MyImageProvider()
    # и регистрируем его в контексте QML
    engine.rootContext().setContextProperty("myprovider", videoProvider)
    #engine.addImageProvider("myprovider", videoProvider)
    # загружаем файл qml в движок
    engine.load("test.qml")

    engine.quit.connect(app.quit)
    sys.exit(app.exec_())

Код формы:

import QtQuick 2.12
import QtQuick.Window 2.12
import QtQuick.Controls 2.12

Window
{
    visible: true
    width: 640
    height: 480
    title: ("QML OPENCV")
    color: "green"
    id: root

    // ...

    TextArea 
    {
        id: debug_area
        x: 183
        y: 361
        width: 275
        height: 145
        text: qsTr("Debug\n")
        selectByMouse: true
    }

    Connections
    {
        target: myprovider
        property int frameCounter: 0

        onFrameChanged:
        {
            frameCounter ^= 1;
            debug_area.text += frameCounter; // проверяем здесь изменение счётчика
        }
    }
}

Не хочет работать.

Я сделал простой вывод текста по испусканию сигнала...
Чего не хватает программе?)
Python:

# системные библиотеки
import cv2
import numpy as np
import sys
import threading

# PyQt библиотеки
from PyQt5.QtCore import *
from PyQt5.QtGui import *
from PyQt5.QtQml import *
from PyQt5.QtQuick import *


class MyImageProvider(QObject):
    def __init__(self):
        QObject.__init__(self)

    frameChanged = pyqtSignal()


if __name__ == '__main__':

    # создаём экземпляр приложения
    app = QGuiApplication(sys.argv)
    # создаём QML движок
    engine = QQmlApplicationEngine()
    # создаём объект vision
    videoProvider = MyImageProvider()
    # и регистрируем его в контексте QML
    engine.rootContext().setContextProperty("myprovider", videoProvider)
    #engine.addImageProvider("myprovider", videoProvider)
    # загружаем файл qml в движок
    engine.load("test.qml")

    engine.quit.connect(app.quit)
    sys.exit(app.exec_())

QML:

import QtQuick 2.12
import QtQuick.Window 2.12
import QtQuick.Controls 2.12

Window
{
    visible: true
    width: 640
    height: 480
    title: ("QML OPENCV")
    color: "green"
    id: root

    //здесь увидим информацию
    TextArea 
    {
        id: debug_area
        x: 183
        y: 10
        width: 200
        height: 400
        text: qsTr("Debug\n")
        selectByMouse: true
    }
    Button
    {
        x: 10
        y: 10
        width: 100
        height: 50
        text: qsTr("Debug Btn")
        onClicked:
        {
            debug_area.text += "BTN is WORK\n"
        }
    }
    Connections
    {
        target: myprovider
        property int frameCounter: 0

        onFrameChanged:
        {
            debug_area.text = "Signal is work"
            //frameCounter += 1;
            //debug_area.text = frameCounter; // проверяем здесь изменение счётчика
        }
    }
}

Есть на qml что-то типа window.onload? Чтобы при загрузке формы срабатывал сигнал. По нажатию кнопки всё прекрасно работает... А вот при загрузке формы нет...

Да, с console.log() я разобрался, счётчик ничего не показывает

У всех компонентов есть встраиваемый обработчик Component.onCompleted, который выполняется, когда объект полностью создан

Window {
    Component.onCompleted: {
        console.log("Window Completed Running!")
    }
}

Наверное сигнал всё-таки не вызывается правильно

А не подскажете, как вызвать правильно? :)

Сделал вот такой вариант и он работает, только мне непонятно, почему в консоли пишется undefined...
Форма:

import QtQuick 2.12
import QtQuick.Window 2.12
import QtQuick.Controls 2.12

Window
{
    visible: true
    width: 640
    height: 480
    title: ("QML OPENCV")
    color: "green"
    id: root

    Component.onCompleted:
    {
        console.log("onload")
        console.log(myprovider.say())
    }

    Connections
    {
        target: myprovider

        /*onFrameChanged:
        {   
        }*/
    }
}

Скрипт:

# системные библиотеки
import cv2
import numpy as np
import sys
import threading

# PyQt библиотеки
from PyQt5.QtCore import *
from PyQt5.QtGui import *
from PyQt5.QtQml import *
from PyQt5.QtQuick import *


class MyImageProvider(QObject):

    def __init__(self):
        QObject.__init__(self)

    #frameChanged = pyqtSignal()

    @pyqtSlot()
    def say(self):
        print("blablabla")

if __name__ == '__main__':

    # создаём экземпляр приложения
    app = QGuiApplication(sys.argv)
    # создаём QML движок
    engine = QQmlApplicationEngine()
    # создаём объект vision
    videoProvider = MyImageProvider()
    # и регистрируем его в контексте QML
    engine.rootContext().setContextProperty("myprovider", videoProvider)
    #engine.addImageProvider("myprovider", videoProvider)
    # загружаем файл qml в движок
    engine.load("test.qml")

    engine.quit.connect(app.quit)
    sys.exit(app.exec_())

undefined пишет потому, что метод сам по себе ничего не возвращает, то есть void, напишите так

Component.onCompleted:
{
    console.log("onload")
    console.log(myprovider)
}

Вернул код инструкции, если я правильно понял.

Вернулся указатель на ваш объект. Ну слот срабатывает. Вам теперь нужно дальше развить вашу задачу. У меня к сожалению нет времени разбираться с opencv, поэтому не могу ответить на некоторые вопросы.

С opencv я разберусь. :) У меня пока только вопросы по сигналам и слотам.)

На сколько мне известно в opencv с камеры подпются картинки через определенное время и так выходит видео. По идее можно по получении этой картинки передавать ее в qml. Прикрепить сигнал к получению картинки или таймеру и так подовать сигнал в qml об необходимости обновления.

Если смотреть глубже, то там подаётся массив байтов(bytes в питоне). Ну, а по простому, то да. Я пока не разобрался как переменную передавать в qml форму. В этой самой переменной, пускай будет frame, как раз хранится поток с веб-камеры. Как только я передам её на форму, то по идее, элемент в котором будет "отображаться" данная переменная, нужно же перерисовывать, чтобы кадры обновлялись.

Comments

Only authorized users can post comments.
Please, Log in or Sign up
How to become an author?

Contribute to the evolution of the EVILEG community.

Learn how to become a site author.

Learn it
Donate

Good day, Dear Users!!!

I am Evgenii Legotckoi, developer of EVILEG. And it is my hobby project, which helps to learn programming another programmers and developers

If the site helped you, and you want also support the development of the site, than you can donate by following ways

PayPalYandex.Money
Timeweb

Let me recommend you the excellent hosting on which EVILEG is located.

For many years, Timeweb has been proving his stability.

For projects on Django I recommend VDS hosting

View Hosting Timeweb
June 6, 2020, 12:20 a.m.
Aleksej

C ++ - Test 004. Pointers, Arrays and Loops

  • Result:60points,
  • Rating points-1
June 6, 2020, 12:15 a.m.
Aleksej

C++ - Test 001. The first program and data types

  • Result:53points,
  • Rating points-4
V
June 5, 2020, 5:47 p.m.
Vladzo

C++ - Test 005. Structures and Classes

  • Result:83points,
  • Rating points4
Last comments
June 5, 2020, 11:52 a.m.
progammist

Распознавание изображений на Python с помощью TensorFlow и Keras

Огромное спасибо за метериал, по-больше бы подобных статей (с подробным описанием работы и примерами применения) на тему современных технологий. Вопрос поразмышлять. На текущий момент реал…
June 5, 2020, 2:39 a.m.
Evgenij Legotskoj

Qt/C++ - Tutorial 091. How to write a custom delegate controlling the highlighting of a row in a table

По-моему, смысла в этом нет особого. Если делегат будет игнорировать настройки таблицы, то это приведёт ещё к большему непониманию, что вообще происходит, для программиста, который после вас буд…
June 5, 2020, 2:34 a.m.
IscanderChe

Qt/C++ - Tutorial 091. How to write a custom delegate controlling the highlighting of a row in a table

Сижу, размышляю: можно ли переписать делегата так, чтобы независимо от настроек строк выделялись строки?
June 5, 2020, 2:31 a.m.
Evgenij Legotskoj

Qt/C++ - Tutorial 091. How to write a custom delegate controlling the highlighting of a row in a table

Понятно. Я не обратил внимания на то, что там было в старом коде по настройкам строк :)
Now discuss on the forum
s
June 6, 2020, 2:54 a.m.
shuric

Qt/C++ Определение положения курсора над действие(кнопкой) в QToolBar

Доброго дня. Возник вопрос - как можно определить что курсор находится над определенным действием(кнопкой) в qtoolbar ? mainwindow.cpp MainWindow::MainWi…
s
June 6, 2020, 1:45 a.m.
shuric

Qt/C++ особенности QProxyStyle

Да, Вы правы. Код был скопирован с сайта (уже не помню с какого), но решил пойти по пути более легком. Пришлось переписать - кому интересно: использовал stackedWidget для пе…
June 6, 2020, 12:08 a.m.
Aleksej

Посоветуйте новичку (базы данных и Qt, что учить)

Блин, а я недавно купил Шлее Qt 5.10 :( С детства хотел стать программистом, баловался Паскалем, писал простенькие программки на Delphi, создавал движок на php, изучал C (забросил и перешел на п…
June 5, 2020, 2:09 p.m.
IscanderChe

QPlainTextEdit настройка цвета фона

Вечер добрый. Пытаюсь настроить цвет фона QPlainTextEdit следующим образом: CodeEditor::CodeEditor(QWidget *parent) : QPlainTextEdit(parent){ ... QPalette::ColorRole role = bac…
June 5, 2020, 7:13 a.m.
IscanderChe

Фильтр для QtableView sql

Добрый день. Для такой фильтрации необходимо использовать QSortFilterProxyModel. В оффдоках есть хороший пример.
About
Services
© EVILEG 2015-2020
Recommend hosting TIMEWEB