Poreklo porodice Branković nije baš najjasnije, a kao njeni najstariji članovi spominju se vojvoda Mladen (od kojeg potiču Brankovići) i brat mu župan Nikola. Ko je njihov otac još uvek se ne zna, a po svoj prilici tako će i ostati. U svakom slučaju radi se o veoma staroj i uglednoj porodici koja je još od kralja Milutina izgleda bila prisutna na srpskom dvoru gde je zauzimala vidno mesto, ali nikada nije spadala u one najjače i najuticajnije. Njihova baština nije bila velika i sastojala se iz Drenice na Kosovu pa se može na osnovu toga sa sigurnošću reći da njihov ugled nije išao zbog veličine ili bogatstva poseda koje su držali već isključivo iz dvorskih službi koje su dobijali. Pripadali su pograničnoj vlasteli kojima je osnovno zanimanje bio rat, a jedini uslov napretka neprekidna osvajanja ka jugu. Pravi njihov uspon izgleda ide od vremena vladavine kralja Stefana Dečanskog (1321-1331.) jer se tada u 1323. godini vojvoda Mladen spominje kao gospodar Trebinja i Dračevice koje je dobio od kralja na upravu, dok mu brat Nikola u godini 1329. ima naziv župana i izgleda da kao kraljev službenik deluje u severnoj Albaniji. Po svemu sudeći ove titule su bile nagrada koju su dobili od kralja Dečanskog zbog verovatnih zasluga tokom njegovih borbi za presto sa polubratom Konstantinom. Kakva su bila njihova kasnije delovanja, ne zna se, ali su se verovatno i dalje kretali u kraljevoj blizini. Neposredno nakon 1326. godine (kada se poslednji put spominje u jednoj povelji) vojvoda Mladen je i umro, a nasledio ga je sin Branko od kojeg porodica Branković i dobija svoje ime Brankovića. Osim Branka vojvoda Mladen je ostavio iza sebe i ćerku po imenu Ratoslavu (Ratislavu). Da je porodica uživala veliki ugled, mada nije bila među najmoćnijima u Srbiji, vidi se iz toga što je vojvoda Mladen ćerku Ratoslavu udao u moćnu kuću Vojnovića i to za župana Altomana. Iz ovoga braka rodiće se kasniji župan Nikola Altomanović.
Od svoga oca, vojvode Mladena, sin Branko je nasledio upravu Trebinjem, ali i njegovo mesto poverljivog čoveka kod kralja Dečanskog. U kasnijem sukobu između kralja Dečanskog i sina mu Dušana po svemu sudeći Branko je bio na strani sina (Dušana) jer ga, nakon uspešno okončane borbe za krunu, kralj Dušan nagrađuje namesništvom Ohrida, ali moguće i visokom titulom sevastokratora (?).
Baš titula sevastokratora može da izazove najmanje dva pitanja. Najpre pitanje koji je car nagradio Branka titulom sevastokratora: car Dušan ili car Uroš? I ovo će pitanje po svoj prilici još dugo ostati bez zadovoljavajućeg odgovora, budući da se on (Branko) kao sevastokrator spominje po prvi put u jednoj povelji iz 1365. godine. No to je za našu priču ipak manje važno pa se na tome ne zadržavamo.
Mnogo je interesantnije pitanje da li se možda Branko nalazio u kakvim rodbinskim vezama sa Nemanjićima o čemu bi mogla da posvedoči titula sevastokratora koju su Nemanjići davali svojim srodnicima. Tako je Orbin za Vukovog sina (Brankovog unuka) Đurđa navodio da je "potomak carske loze", što samo potvrđuje da su carska porodica i Brankovići bili na neki način porodično povezani. Ako ova veza postoji onda je ona verovatno preko neke princeze iz kuće Nemanjića koja se udala za nekoga iz porodice Brankovića. Kasnije povezivanje Brankovića sa Nemanjićima i to preko kneginje Milice i njene ćerke Mare (koja je bila udata za Vuka Brankovića) je već sasvim razumljivo. "Sin velikog župana Nemanje Vukan, brat prvovenčanog kralja Stefana; ovaj Vukan, veliki knez, rodi sina Dmitra župana, u monaštvu narečeni David, koji sazda crkvu svetog bogojavljenja pored Lima u mestu Brodarevu. Ovaj pak rodi sinove i kćeri; prvi sin njegov veliki knez Vratko. Vratko rodi Vratislava. I Vratislav rodi sinove i kćeri; prva njihova kći kneginja Milica u inočkom liku narečena Evgenija monahinja. Ova rodi sinove i kćeri. Prvi sin njen Stefan. I bi Stefan veliki knez, despot Srbljem i obema stranama Podunavlja gospodin. I prva kći njena Mara, sestra velikog Stefana. Ova rodi tri sina. Sin njen prvi despot Đurađ".
Verovatno da je svrha ovoga rodoslova bila u tome da se pokaže kako je despot Đurađ Branković (sin Vukov) zapravo u srodstvu sa "svetorodnim" Nemanjićima te da i to na neki način opravdava njegovu vladavinu Srbijom. U tom pogledu nema nikakve sumnje da su Brankovići zaista u vezi sa Nemanjićima, ali pitanje je da li ta veza postoji još i od ranije.
Ne zna se za koga je sevastokrator Branko bio oženjen (možda za neku Nemanjićku princezu?), ali se zna da je imao tri sina i jednu ćerku. Najstariji sin se zvao Nikola Radonja i od 1350. godine bio je oženjen sa rođenom sestrom moćnih Mrnjavčevića, Uglješe i Vukašina, koja se zvala Jelena. Sa njom je imao i dve ćerke, ali doživljava tragediju pošto mu žena i obe ćerke naglo umiru. Razočaran on se tokom 1364. godine zamonašio i smestio u Hilandaru pod imenom monah Roman. Kasnije (1376.) je uzeo stroži monaški zavet i postao velikoshimnik Gerasim. Za vreme svoga boravka u Hilandaru uspeo je Radonja da za svoj manastir pribavi mnoga imanja i stoga je često putovao. Tokom svoga dugog života održavao je prisne odnose sa carem Urošem, svojim bratom Vukom, knezom Lazarom, a na kraju i despotom Stefanom Lazarevićem. Verovatno njegov najveći uspeh je bio u dobijanju manastira Sv. Pavla (1380.) koji je u to doba bio potpuno zapušten. Privučen legendom da se u tome manastiru nekada podvizavao Pavle Ksiropotamski, čovek koji je prvi propovedao hrišćanstvo među Srbima, Radonja se potrudio da ga obnovi. Manastir je utvrđen, sagrađene su ćelije i hram, a podignuti su i vinogradi u okolini. Dugo nakon toga ovaj manastir su Brankovići smatrali svojim porodičnim. Tu, u manastiru Sv. Pavla, Radonja (Gerasim) je i umro 3. decembra 1399. godine.
Drugi sevastokratorov sin se zvao Grgur, a treći i najmlađi sin bio je Vuk (rođen pre 1345.). Osim ova tri sina sevastokrator je ostavio i ćerku Teodoru (Vojislavu) koja se udala za Đorđu Topiju koji je gospodario Dračem.
U svakom slučaju ova porodica se po malo čemu mogla razlikovati od mnogih drugih sličnih vlasteoskih porodica koje su se kretale na dvoru i oko njega. Po svojoj snazi bila je manje više beznačajna mada njeno samo poreklo jeste staro i što je još važnije veoma poštovano (tim više ako su bili u vezi sa Nemanjićima). Moguće je da bi se istorija Brankovića i zaboravila te da bi oni potonuli u anonimnost da nije došlo do ulaska najmlađeg sina sevastokratora Branka, koji se zvao Vuk, u porodicu sve moćnijeg i agilnijeg kneza Lazara Hrebeljanovića. Naime, negde oko 1371. godine Vuk se ženi sa kneževom ćerkom koja se zvala Mara. Knez Lazar je veoma pažljivo odabrao muža za svoju ćerku, jer iako je Vuk bio prilično siromašan videlo se da se radi o čoveku koji vredi i koji će biti u stanju da svoju malu porodičnu baštinu uveća. "Mara je bila udata za raškoga vlastelina Vuka, sina Branka Mladenova, vrlo valjanog ratnika, mudrog čoveka i veoma poslušnog prema svom tastu Lazaru,..." (Mavro Orbin).