Правильная выгрузка плагинов

Всем привет!

Есть плагин (.dll), при работающем приложении пытаюсь выгрузить и подменить его на другой (обновить).
В логах пишет QLibraryPrivate::unload succeeded, но при попытке подменить операционная система сообщает что файл занят процессом.
Вот пример того что я пытаюсь сделать

QPluginLoader *pluginLoader = new QPluginLoader;
pluginLoader->setFileName("plugins/plugin");
IFactory *factory = qobject_cast<IFactory *>(pluginLoader->instance());

plugin->unload();
qDebug() << plugin->isLoaded(); //false
delete plugin;

QThread::sleep(1000);

Я так думаю здесь замешан factory, но что я с ним должен сделать? Удалять пробовал - не помогло, приложение падает.