setWindowModality(Qt::AplicationModal);
nece pa nece .....
Modalni prozor znači da mora biti zatvoren da bi se otvorio bilo koji drugi ili pristupilo meniju, ali u okviru aplikacije koja ga je prikazala.
Za Always On Top funkcionalnost koristi QMainWindow sa Qt::WFlags parametrom setovanim na Qt::WindowStaysOnTopHint. Neki X11 windows manager-i ne podržavaju ovu funkcionalnost, ali tad možeš koristiti tajmer koji će periodično pozivati raise() metod i tako prozor izbacivati u prvi plan, iznad svih ostalih.