Laget ble til som en sammenslåing av flere klubber i byen, og dukket opp like etter andre verdenskrig. De hadde sin første store periode tidlig på 60-tallet, da de hadde kommet til den øverste divisjonen, og allerede i 1960 kom på andreplass i sluttspillet. I 1962 vant de sluttspillet, og ble tyske mestre, mens året etter tapte laget sluttspillet og kom på andreplass. Etter igjen å ha vunnet Bundesliga i 1964 og kommet på andreplass i 1965, kom laget lenger ned på listen igjen. I 1965 spilte de en UEFA-cupkamp mot Liverpool FC, som etter tre uavgjorte på rad ble avgjort gjennom myntkast, da straffesparkkonkurranse ikke fantes. Myntkastet ble først høykant, før Liverpool vant.
I 1968 var Köln tilbake på vinnersporet ved å vinne cupen, og deretter var de et nesten-lag, som i 1970, 1971 og 1973 tapte cupfinalen, og i 1973 også kom på andreplass i serien. Deres store år var imidlertid i 1978, da de vant både serie og cup. Det var også per avsluttet sesong 2009/10 siste sesong Köln vant serien, men de har i tillegg tre andreplasser. Köln markerte seg også i UEFA-cupen 1985/86, der de kom til finalen i den første UEFA-cupen uten engelske lag etter Heysel-tragedien. Köln tapte finalen mot Real Madrid.
1. FC Köln tok over FFC Brauweiler Pulheim den 1. juli 2009. I sin første sesong som kvinnelag, endte 1. FC Köln på tredjeplass i den nest øverste divisjonen.
Av lagets store spillere kan Sonia Fuss nevnes.Tidligere store spillere inkluderer landslagskeeper Silke Rottenberg.