És un edifici singular, asimètric, amb una sala de concerts principal en forma de pentàgon. Els seients ofereixen excel·lents posicions per veure l'escenari considerant l'altura que es va incrementant de manera irregular. L'escenari està al mig de la sala, proporcionant una extraordinària atmosfera tant per als artistes com per al públic. L'acústica és excel·lent. El so arriba molt bé fins cadascun dels seients; es diu que se'n pot distingir cadascuna de les veus i instruments des de qualsevol dels llocs, siguin propers o llunyans. La sala més gran té 2.440 seients, i la petita, la 'Kammermusiksaal', 1.180 seients.
L'edifici està ubicat a la Herbert-von-Karajan-Straße, anomenada així en homenatge al director principal que més temps va dirigir l'orquestra; es troba a l'àrea de Berlín coneguda com a Kulturforum, no gaire lluny de la Potsdamer Platz. També trobem en aquesta àrea la Neue Nationalgalerie, la Gemäldegalerie i una de les dues ubicacions de la Staatsbibliothek zu Berlin.
