Milambo maakte op 12 augustus 2021 zijn officiële debuut voor de Rotterdammers in de voorronde van de UEFA Europa Conference League tegen Luzern (3-0). In de 76e minuut kwam hij als invaller binnen de lijnen. Hij verving Luis Sinisterra en werd daardoor de jongste debutant ooit namens de club, een record dat hij overneemt van Georginio Wijnaldum.[3][4]
Op 2 april 2023 maakte Milambo ook zijn Eredivisiedebuut. Hij viel in de blessuretijd van de met 1-3 gewonnen uitwedstrijd bij Sparta Rotterdam in.