Slepi Stefan Branković je iza svoje smrti (9. oktobra 1476. godine) ostavio sebe ženu Angelinu, sinove Đorđa (u to vreme imao 14 ili 15 godina), Jovana (godinu dana mlađeg) i ćerku Maru. U vreme Stefanove smrti celokupna porodica se nalazila u Furlanskom gradu Beogradu. I do tog momenta ovi Brankovići su živeli veoma skromno, a od Stefanove smrti situacija se još više pogoršala jer su im Dubrovčani, verovatno misleći da je politička karijera porodice Branković završena, pomagali sve manje. Materijalni problemi su bili samo jedna strana njihovog teškog života jer su još veću teškoću predstavljali stalni napadi nasrtljivih suseda koji su pokušavali da im otkinu delove poseda. Ne mogavši smoći dovoljno snage da se odupru stalnim napadima, Angelina Branković se obraćala na više strana za pomoć, ali jedino je Venecija pokazala koliko-toliko razumevanja. Tako je Republika pokušavala da diplomatskim putem umiri neprijateljsku okolinu, a kada ni to nije pomagalo uskoro je stiglo i nešto plaćenika. Međutim sve to kao da je još više izazvalo nasrtljive susede i Brankovići su se našli u bezizlaznoj situaciji. Stoga se Angelina odlučila na jedan pomalo rizičan potez pa je krajem 1478. godine sa sinovima otputovala u Beč kod cara Fridriha III ne bi li ga upoznala sa svojim nevoljama. Čini se da ova ideja nije bila njena već da je to bio savet Kantakuzene Celjske koja se izgleda bolje snalazila u odnosima sa visokim dvorom.
Do kraja se pokazalo da je Kantakuzenin savet bio veoma dobar jer je car Fridrih III veoma lepo primio Angelinu i njene sinove, saslušao njene žalbe i izišao im u susret. Ustupio im je zamak Vajtersfeld u Koruškoj i u njega su se uskoro uselili Angelina i njena deca. Naravno, sva ova popustljivost i uviđavnost od cara prema njima nije mogla da prođe i bez obaveza koje su Brankovići morali uzeti. Radilo se zakletvi na vernost kojom su Brankovići postali carski vazali. Doduše ta zakletva nije odudarala od onoga što se i inače tada dešavalo pa se može reći da su Brankovići prošli veoma dobro i u odnosu na ono što su dobili, dali su veoma malo. Čak bi se moglo reći da je zakletva na vernost caru njima obezbedila veliku dozu sigurnosti jer je to sada značilo ne samo to da su oni obavezni caru biti verni već istovremeno i to da se nalaze pod carskom zaštitom. Nakon dugo vremena mogli su Brankovići da koliko-toliko odahnu i da osete izvesnu sigurnost.
Ne zna se šta su Brankovići radili sledećih nekoliko godina u Koruškoj i u kojem su se pravcu odvijali njihove akcije, ako ih je uopšte i bilo. Jedino što je poznato jeste da je Angelina sa Kantakuzenom pokušavala da proda staro imanje u Furlaniji i da je slala svoga punomoćnika, ali ta prodaja je išla jako teško.
Dakle, nepoznato je šta su oni radili to vreme, ali izgleda da su se sasvim dobro snašli što se vidi iz kasnijih izuzetno uviđavnih postupaka koje je imao car Fridrih III prema njima. Da su Brankovići još pri prvom susretu ostavili na cara toliko dobar utisak da ih on ni kasnije nije zaboravio, teško je poverovati. Biće prije da su oni uzimali učešća u onom životu koji se vodio na carskom dvoru, doduše sigurno ne mnogo važnog, ali sasvim dovoljnog da ih car ima stalno pred očima. U svakom slučaju da ih car i dalje ima u vidu videlo se onda kada je posredovao pri udaji Mare Branković (Stefanove i Angelinine jedine ćerke) za Bonifacija Paleologa V, monferatskog pograničnog grofa. U vreme venčanja Mara je imala tek 19 godina (1485.). Venčanje je obavljeno u Insbruku, a ovu svečanost je uveličao svojim prisustvom car Fridrih III. Doduše, budući suprug nije prisustvovao, ali ga je zamenio njegov punomoćnik. Nakon ove svečanosti Mara Branković je otputovala u Kazale gde joj se nalazio muž Bonifacije. Na ovom putovanju pratio ju je brat Đorđe. Kada je Mara stigla, dočekao ju je muž i sa Brankovićima je sačinjen odmah ženidbeni ugovor po kojem je grof kao miraz dobio 10.000 dukata. Mara je na muža ostavila dobar utisak i ostalo je zabeleženo da su je smatrali ne samo lepom, što je ona stvarno i bila, već i veoma plemenitom. Šta je ona mislila i osećala prema mužu koji je od nje bio dosta stariji ne zna se, ali poznato je da u to vreme devojke oko njihovih budućih brakova nisu mnogo pitane. To je bilo pogotovo izraženo u kući Brankovića gde su mnoge devojke kroz bračne ugovore žrtvovane zarad ostvarenja političkih interesa. To je bilo očigledno i sada u pitanju. U nepoznatoj zemlji sa veoma malo uticaja i skoro bez ikakvog blaga, Brankovići su morali da se bore za opstanak, a pogotovo u ovoj situaciji kada su zavisili jedino od milosti cara Fridriha III. Onoga momenta kada je car posredovao pri sklapanju ovoga braka, Brankovići ne samo da nisu smeli da odbiju da se Mara uda za ostarelog grofa već im je takva ponuda pri kojoj je posredovao sam car sigurno godila.
Iako se, gledajući u tadašnjim relacijama, Mara Branković relativno dobro udala, ni njoj kao ni drugim Brankovićima daljnji život nije bio naklonjen. Možda je u početku izgledalo da joj se sreća osmehnula jer je rodila dva sina - Đovanija IX i Đovanija Đorđa Sebastijanija pa je preko njih mogla naći relativno smirenje. No, već 1493. ostaje udovica, a neposredno potom u svojoj 29. godini (1495.) umre i ona. Tako se ugasila još jedna mlada devojka iz kuće Brankovića koja je imala tu nesreću da nosi ovo časno, ali zlosrećno prezime.
Kada su otpratili Maru kod njenog muža, Brankovići su se vratili u Korušku i tu boravili sve do smrti despota Vuka Grgurevića (1485.). Nema vesti o njihovim aktivnostima, ali nema sumnje da su živo pratili šta se dešava u Sremu. Teško je poverovati da su oni sa despotom Vukom održavali bilo kakve kontakte, a razlog je mogao biti u tome što su oni bili sigurno uvređeni time što je Vuk Grgurević poneo titulu despota i počeo figurirati kao vođa Srba. Po legitimnom pravu despotska čast nije trebala pripasti Vuka već slepog Stefana Brankovića i njegove sinove Đorđa i Jovana. U tom kontekstu Đorđe i Jovan su se morali osetiti uskraćeni pa su verovatno smatrali Vuka uzurpatorom, no on je tada bio suviše jak da bi protiv njega mogli bilo šta preduzeti. Osim toga, čini se da su Đorđe i Jovan bili suviše ponosni da bi, iako su se nalazili u veoma nezavidnoj situaciji, od despota Vuka zatražili bilo kakvu pomoć. S druge strane, svega toga je bio svestan i despot Vuk pa ni on nije imao suviše želja da sa Đorđem i Jovan uspostavlja bilo kakav odnos.
To je sve tako išlo do smrti despota Vuka, a baš u to vreme Đorđe i Angelina su se nalazili u Insbruku i Kazaleu na Marinom venčanju sa monferatskim grofom. Tada je iznenada iz Ugarske stigao poziv od kralja Matije Korvina za oba Brankovića - Đorđa i Jovana. Kralj ih je pozivao u Srem da bi tamo preuzeli ona imanja koja je ostavio despot Vuk, ali i titulu despota. To je bilo pomalo iznenađujuće, budući da su Đorđe i Jovan bili vazali cara Fridriha III, a ovaj je opet bio ljuti protivnik kralja Matije Korvina i oni su i tog momenta vodili međusobni rat. Čak je u leto 1485. godine kralj Matija Korvin uspeo da sa svojom vojskom uđe u Beč. Naravno da Brankovićima nije na pamet palo da odbiju ovakav poziv i uskoro su sa majkom Angelinom krenuli put Ugarske.
Motivi Brankovića da prihvate poziv ugarskog kralja su mnogo lakše shvatljivi nego što to možda na prvi pogled izgleda. Oni sigurno nisu zaboravili to kako se kralj Matija Korvin nemilosrdno ponašao prema njihovom ocu Stefanu u vreme dok je ovaj boravio u Smederevu. To su bile gorke uspomene koje ne blede lako i stoga su prema njemu mogli da osećaju samo mržnju. Međutim, mogli su da vide i to koliko je ovaj ugarski kralj moćan kada je uspeo da caru Fridrihu preotme čak i prestonicu - Beč. I baš dok su Brankovići možda razmišljali o tome da li da prihvate ponudu ugarskog kralja, car Fridrih III se potucao po Nemačkoj moleći od kneževa da mu obezbede novac i vojsku ne bi li povratio Beč. Bilo je toga momenta sasvim jasno da je Matija Korvin u naponu snage dok je Fridrih III bio na zalasku. Osim toga, ugarski kralj je nudio Brankovićima titulu Srpskog despota, što je upravo ono o čemu je sanjao i njihov otac Stefan. Dakle, sada se odjednom pred njima ukazala ona prilika koju je priželjkivali nekada i Stefan Branković i njegov brat Grgur. Ponuda je bila suviše primamljiva da bi se tek tako odbacila.
Ugarski kralj Matija Korvin je sigurno imao svoju računicu kada je pozivao Đorđa i Stefana da preuzmu onu titulu koju je nosio Vuk Grgurević. Naime, smrću despota Vuka izgubili su Srbi u Ugarskoj vođu oko kojeg su se okupljali. Bilo je jasno da se mora pojaviti neka nova ličnost koja će tu ulogu da preuzme. Kralj Matija se morao pobrinuti da on bude taj koji će postaviti novog despota, jer je samo u tom slučaju mogao biti siguran da će to biti onaj koji će odgovarati prvenstveno njegovim interesima. U vreme života Vuka Grgurevića, mogao se ugarski kralj uveriti da ime Brankovića magično deluje na Srbe u Ugarskoj i da oni ovu porodicu smatraju za svoje vladare. Dakle, potrebno je obezbediti kontinuitet Brankovića kao despota u Ugarskoj. Kako nije bilo preživelih Brankovića u Ugarskoj to ih je trebalo dovesti iz one zemlje gde su bili, a to su bili upravo Đorđe i Jovan. Da će oni biti verni Ugarskoj nije ni trebalo sumnjati jer im ugarski kralj pružao ne samo titulu već i velike komplekse imanja. S druge strane, bilo je mnogo preporučljivije da on (ugarski kralj) postavi Srbima despota, odnosno vođu, već da ga oni između sebe traže. To ne bi moglo proći bez sukoba što bi smanjilo vojnu moć srpskih pograničnih četa koje bi se između sebe naganjale tražeći novoga vođu, umesto da čuvaju granicu od Turaka. Dolazak nekoga od potomaka Brankovića preseklo bi svaki diskusiju o ličnosti despota koja se mogla eventualno pojaviti. Osim toga, mogao se kralj Matija za sve ove godine uveriti da je ideja o postavljanju Vuka Grgurevića za despota bila veoma dobra i da je time uspeo za sebe da veže masu Srba koji su predstavljali vernu i sposobnu vojsku. To je sada trebalo i održati, a Đorđe i Jovan su upravo trebali da ovo obezbede. Uz to Đorđe Branković je bio prirodni i legitimni naslednik Brankovića pa ni po tom pitanju nije bilo smetnji.
Tokom 1486. godine Brankovići se nalaze u Ugarskoj, a Đorđe Branković dobija titulu despota dok se Jovan morao zadovoljiti titulom barona. Bilo je očigledno da oni svoj dolazak u Srem shvataju kao trajno stanje jer su sa sobom doveli majku Angelinu, ali i mošti svoga oca Stefana koji je godinu ili dve ranije bio proglašen svecem. Sve to je ostavilo veoma snažan utisak na Srbe u Sremu, što nije bilo nimalo slučajno. Pravo koje je Đorđe Branković polagao na titulu despota bilo je u svakom slučaju mnogo jače od onoga koje je imao pokojni Vuk Grgurević. Naime, Đorđe je bio zakonit sin Stefana Brankovića, dok je Vuk bio u najboljem slučaju nezakoniti Grgurev sin. Osim toga oni su imali mošti sveca Stefana što je moglo da probudi sećanja Srba na dane koji su bili mnogo bolji od ovih koje su sada provodili. Na neki način uspostavljao se ponovo kult vladara kod Srba, kult koji je proteklih godina bio pomalo i zaboravljen. Tu se vidi da su Đorđe i Jovan Branković, verovatno pod uticajem svoje majke Angeline, dobro organizovali i smislili svoj prvi nastup u Sremu. Oni su bili mnogo inteligentniji, ali i obrazovaniji nego što je to bio Vuk Grgurević čija slava je uglavnom počivala na njegovim ratničkim veštinama. Đorđe i Jovan Branković su imali u sebi mnogo više političkog, a kako su živeli u relativnoj sigurnosti Furlanije to su imali svakako i više vremena da se bave intelektualnim delatnostima no što je to imao Vuk Grgurević koji je svoj život proveo ratujući, pa su mogli i promišljenije da nastupe. U svakom slučaju, Srbi u Sremu su dolaskom Đorđa i Jovana mogli u većoj meri i većom jasnoćom da ponovo počnu negovati kult vladara i da se prisećaju nekadašnjeg vremena kada su imali svoju državu. Time su i njihovi nastupi oko obnavljanja Despotovine mogli dobiti jasniji smisao.
Brankovići su preko Beča stigli u Budim i nakon dobijanja titula stigli su u Srem. Odmah po dolasku u Srem u Kupinovu u manastiru sv. Luke položili su kovčeg sa Stefanovim moštima. Osim titula kralj Matija im je dodelio i većinu onih imanja koje je za života držao despot Vuk Grgurević. Naravno imali su prema kralju Matiju i obaveza. Despot Đorđe Branković je morao da izdržava vojni odred od 1.000 ratnika sa kojima je ratovao na onim mestima na koje ga pošalje kralj Matija. To nikako nije bilo lako, ali to je bila cena za sve ono što su dobili.
Nije poznato da je despot Đorđe imao onakvih sukoba sa Turcima kakvih je imao despot Vuk, što se verovatno može opravdati time da je mir između Ugarske i Turske bio još na snazi. Stoga je i granica u Sremu i Slavoniji bila relativno mirna. I pored toga despot Đorđe nije imao mnogo prilike da bude izvan ratnih okršaja jer je u to doba kralj Matija ratovao po Austriji pa je verovatno despot Đorđe tamo ispunjavao svoju vazalnu obavezu. Sa kakvim je rezultatima tamo despot ratovao ne zna se, ali sigurno nije imao onako spektakularnih akcija koje je imao despot Vuk.
Iako je despot Đorđe u vojnim veštinama bio slabiji od despota Vuka, kralj Matija nije mogao, a da ne primeti njegove druge kvalitete koji su jače dolazili od izražaja. Despot Đorđe je na prvom mestu bio obrazovan i kulturan čovek koji nije mnogo vremena proveo ratujući pa je stoga kod njega bila više izražena ona fina gospodstvena crta koja je bila toliko svojstvena Brankovićima. Za razliku od despota Vuka koji je bio grubi ratnik kome dvorski ceremonijal i običaji sigurno nisu mnogo značili, despot Đorđe je bio sušta suprotnost. Obrazovan i veoma inteligentan sa mnogo iskustva po stranim dvorovima mogao je kralju Matiji da posluži daleko više u finim političkim stvarima na dvoru negoli na bojnom polju. Odatle se i može objasniti to što je kralj Matija bio zainteresovan da despota Đorđa oženi onako kako on smatra da je dobro. Tako mu je našao ženu iz reda rođaka svoje treće žene, ugarske kraljice Beatriče. Bila je to Izabela, inače princeza iz aragonske, napuljske dinastije.
Na kraju se pokazalo da je to bio izbor koji se pokazao nesrećan za oboje supružnika. Ni despot Đorđe, a ni despotica Izabela u ovom braku nisu našli smirenje. Sukobi među supružnicama su bili toliko intenzivni da je moralo da dođe do međusobnog razlaza. Ne zna se tačan razlog zbog čega se nisu mogli složiti pa je izneta pretpostavka da je despot Đorđe na Izabelu vršio pritisak da ona, budući katolkinja, promeni veru i pređe u pravoslavlje. Kako je ona to odbila to je među njima bilo svađa koje su se morale završiti razvodom. Taj neuspeli brak je ostavio veoma veliki trag u psihi despota Đorđa koji je izgleda bio osetljiva priroda i kome sve to nije palo lako. To je verovatno razlog zbog čega ima mišljenja da je ovaj nesrećan brak osnovni uzrok kasnijeg despotovog zamonašenja.
Izgledalo je da se Brankovićima konačno osmehnula sreća i da su našli konačno svoje mesto. Kako je na ugarskom dvoru stajao veoma dobro to se možda despot Đorđe mogao ponadati da će uspeti obnoviti Despotovinu, ali tada pomalo naprečac umre kralj Matija Korvin (6. april 1490. godine). Čudna je bila njegova smrt. Navodi se da je još od 1487. godine on osećao bolove i da je teško stajao na nogama, ali zdravstveno stanje mu se redovno popravljalo. Međutim, od 1489. godine toliko je oslabio da su ga morali nositi u nosiljci. Kolena i noge su mu oticali, a on je bio u groznici. U Beču se nalazio početkom aprila 1490. godine radi nekih svečanosti, ali ih nije mogao zbog iscrpljenosti izdržati do kraja. Jedno veče uhvatila ga je vrtoglavica, slabo je video i padao je u nesvest. Nakon toga su započeli strahoviti bolovi koji su bili toliko jaki da je kralj urlikao. U zoru je izgledalo da su bolovi stali, ali samo na tren. U samo jutro 6. aprila 1490. godine između 7 i 8 sati kralj Matija Korvin je umro.
Smrt je bila toliko čudna da je odmah izazvala sumnju da je kralj zapravo otrovan. Najsumnjivija je bila kraljica Beatriča, a razloga za sumnju je bilo dovoljno pošto kralj nije imao zakonitog potomstva. Kralj Matija je imao tri žene (Beatriča je bila treća) i nijedan od brakova mu nije doneo dece. Kraljica Beatriča je imala dosta pokušaja da vračarijama i ko zna sve čime rodi Ugarskoj naslednika, ali sve je bilo uzalud. Kako se radilo o nasrtljivoj i nadasve častohlepnoj ženi koja će pokušati sve da zadrži presto za sebe to su sumnje na njenu krivicu bile sasvim opravdane.
Kada je postalo jasno da kralj Matija neće imati dece počele su spletke o tome ko bi mogao biti njegov eventualni naslednik. Rođaka koji su imali tu želju bilo je mnogo. Međutim, tada se isprečilo nešto drugo. Kralj je imao nezakonitog sina sa jednom devojkom iz Šleske i ona mu je rodila 1473. godina sina Ivaniša. "Imao je siromah jednog sina, po imenu Ivaniša Korvina, koji se rodio izvan zakonitog braka" (Đurađ Sremac). O njemu on nije mnogo razmišljao sve dok je imao nadu da će mu kraljica Beatriča roditi naslednika, no kako vremenom zakonitog naslednika nije dobio to je počeo kombinovati kako da Ivaniša načini svojim naslednikom. U tom pravcu počeo ga je isturati na državne funkcije i poveravati mu važne zadatke želeći da ga pripremi za kraljevski tron. Istovremeno je sa najjačim ličnostima Ugarske potajno pregovarao da prihvate Ivaniša za budućeg ugarskog kralja. Kako je od većine dobio pristanak to je sada ostalo jedino da se Ivaniš i zvanično proglasi naslednikom. No, tu se sada isprečila kraljica Beatriča koja je uspela da svojim spletkama to spreči.
Taj period ugarske istorije čita se kao najuzbudljiviji romanu kojem ništa ne nedostaje. Kraljica Beatriča je spletkarila ne birajući sredstva. Ničega tu ne nedostaje. Kraljica se mešala u sve i svašta najpre naturajući Ivanišu da se oženi za neku njenu rođaku, a kada u tome nije uspela gledala je da mu razori tek sklopljeni brak. Bilo je tu mnogo tajnih dogovora, otrova, bodeža u mračnim hodnicima i svega onoga što žestoko pali maštu. Sve to nije moglo, a da ne ostavi traga na kralja Matiju koji je bio svestan svih ovih događaja, ali nije imao snage da kraljici stane na put. Doduše u par navrata je pokazao snagu i naturio svoju volju, ali sve samo zakratko. Kraljica je i dalje ludovala u želji za vlašću koja joj se i pored svih njenih napora uporno izmicala. Naravno ni dvor nije ostao izvan ovih događaja pa su se pojavile grupacije koje su podržavale različite strane u sukobu. Ipak, sve je to koliko-toliko bilo pod kontrolom do smrti kralja Matije, ali je onda puklo. Pitanje nasleđa kralja Matije Korvina je odmah uvelo Ugarsku u novi talas građanskog rata i nasilja. Naravno, izvan ovih događaja despot Đorđe Branković nije mogao ostati sve i da je hteo. Ulog je bio suviše veliki da bi i jedna veća plemićka kuća u Ugarskoj mogla biti nezainteresovana u događajima koji su sledili.