A la mort del seu pare, ocorreguda el febrer de 1429 es va oposar al règim oligàrquic que en aquells dies establert a la ciutat de Florència, en el qual prevalia la família rival dels Albizzi. La influència de Cosme de Mèdici, dotat d'un excepcional sentit polític, va adquirir més importància quan el cap de l'oligarquia Rinaldo Albizzi el va fer arrestar l'any 1433 acusant-li de malversació, sent empresonat al el Palazzo Vecchio i enviat a l'exili durant deu anys. En aquells moments Cosme es va instal•lar a la ciutat de Venècia, sense perdre el contacte amb els partisans.
Albizzi va mantenir un dur enfrontament amb els seus enemics; ni el seu prestigi, ni els seus diners van intimidar als seus adversaris i, un any més tard, Cosme va retornar a Florència. Triomfant i aclamat pel poble va expulsar el seu rival, i fou nomenat gonfaloniere de Florència el 1434, el que el va permetre dur a terme els seus desitjos polítics, intentant convertir a la seva família en l'àrbitre de l'Estat florentí. Va impulsar la política exterior i va exercir, per mitjà de la mateixa, una gran influència a tota la península italiana. Va utilitzar per a aquesta fi, i en diferents direccions, la seva extraordinària fortuna provinent de la banca herència del seu pare, que posseïa diverses filials en diversos Estats italians i a l'estranger.
La seva influència dins del Papat es posà de manifest l'any 1439, quan aconseguí convèncer el papa Eugeni IV de traslladar el Concili de Ferrara a Florència, concili en el qual es discutí la unió entre l'Església llatina i l'Església Ortodoxa.