Изменение размера окна

Можно переопределить метод resizeEvent , может выглядеть примерно так:

virtual void resizeEvent(QResizeEvent *event) override;

void Widget::resizeEvent(QResizeEvent *event)
{
    int width = event->size().width();
    int height = event->size().height();
    int oldWidth = event->oldSize().width();
    int oldHeight = event->oldSize().height();

    if (width < oldWidth || height < oldHeight)
    {
        if (width > height)
        {
            resize(height, height);
        }
        else
        {
            resize(width, width);
        }
    }
    else
    {
        if (width > height)
        {
            resize(width, width);
        }
        else
        {
            resize(height, height);
        }
    }
}

Суть в том, что при изменении размеров генерируется событие QResizeEvent, которое несёт новый размер и старый размер. Поэтому можно поиграться со значениями высоты и ширины окна.

я пытался сначала решить проблему данным способом, но у нее есть свои изъяны и должен быть другой способ. так как при такой реализации - окно дёргается при смене размера, обратно уменьшить его нельзя(если не потянуть за угол окна) и еще когда мы в событии смены размера окна, вызываем событие смены размера окна, то можем словить неприятную рекурсию, что закончится очень плачевно.

Отследить изменение размеров окна можно только через метод resizeEvent или proccessEvent , что эквивалентно resizeEvent , только туда сыпятся абсолютно все события. Сигналов об изменении размеров виджет Вам кидать не будет, только если не переопределите метод resizeEvent и сами не начнёте испускать эти сигналы, только зачем?

Что касается вашего утверждения

должен быть другой способ

С чего вы вообще взяли, что должен быть другой способ? За 15 лет пользования ПК я не видел ни одной программы, которая бы реализовывала тот User Case, который вы пытаетесь реализовать. Думаю, что в Qt Company не стали бы заморачиваться с настолько нетипичным примером использования фреймворка.

Единственное, что могу посоветовать, это покопаться в API целевой операционной системы и покрутить QAbstractNativeEventFilter . Но результат в данном случае не гарантирован.