הקבוצה נוסדה ב-1946 והצטרפה לליגת הפוטבול ה-AAFC, בה זכתה ב-4 אליפויות, לאחר שזו התפרקה בתום עונת 1949, בין השאר לאור שליטתם האבסולוטית של הבראונס, עברה הקבוצה לשחק בליגת ה-NFL. כינוי הקבוצה, "החומים", לקוח מכינויו של המתאגרף האגדי ג'ו לואיס, "המפציץ החום", אם כי מיתוס מקומי מייחס את השם למנהל והמאמן הראשון של הקבוצה פול בראון.
ב-NFL זכתה הקבוצה ב-4 אליפויות נוספות, האחרונה בהן ב-1964, הרבה בזכות הרץ האחוריג'ים בראון, שנבחר על ידה בדראפט 1957. ב-1995 הודיע בעלי הקבוצה ארט מודל, כי בכוונתו להעביר את הקבוצה לעיר בולטימור, צעד זה עורר מחאות רבות בקרב אוהדי הקבוצה ומחוקקי קליבלנד ואוהיו, שאישרו בניית אצטדיון חדש בהוצאה של 300 מיליון דולר. תביעות רבות הוגשו נגד מודל, ובפשרה שהושגה נקבע כי סגל הקבוצה יעבור לשחק בשם בולטימור רייבנס, אך הזכויות על הכינוי בראונס, ועל ההיסטוריה של הקבוצה יישארו עד שתוקם קבוצה חדשה בקליבלנד. ב-1999 חודשה פעילות הקבוצה, מאז הקמתה מחדש ועד 2020 היא בעלת המאזן המצטבר הגרוע ביותר בליגה, היא הצליחה להעפיל רק עוד פעמיים לפלייאוף ב-2002 וב-2020. בעונת 2017 הייתה לקבוצה השנייה בהיסטוריה שסיימה במאזן שלילי של 0–16.