U prestonici više srednjevekovnih srpskih država, Skadru na Bojani, sve manje Srba