Babacar werd in 2007 door het Italiaanse Pescara ontdekt bij het Senegalese US Rail. Na twee seizoenen trok hij naar Fiorentina. Op 14 januari 2010 debuteerde hij in de Coppa Italia, tegen Chievo Verona. Hij was toen zestien jaar en tien maanden oud. Hij scoorde meteen bij zijn debuut. Op 20 maart 2010 - drie dagen na zijn zeventiende verjaardag - scoorde hij zijn eerste competitiedoelpunt tegen Genoa. In januari 2012 werd hij voor een half seizoen verhuurd aan het Spaanse Racing Santander. Tijdens het seizoen 2012/13 werd hij uitgeleend aan Padova, waar hij zestien competitiewedstrijden speelde. Tijdens het seizoen 2013/14 werd hij uitgeleend aan Modena. In 2014 keerde hij terug bij Fiorentina.