Pendant de nombreuses années, cette salle n'était connue que sous le nom de "Kleine Musikvereinssaal", jusqu'en 1937, année du 125e anniversaire de la Gesellschaft der Musikfreunde à Vienne, on lui donna un nom qui reflète bien son importance : le Brahms Saal. Johannes Brahms n'a pas seulement joué en personne dans cette salle, il a également été à l'origine du tout premier concert de Clara Schumann donné ici, le 19 janvier 1870. Les normes fixées ce jour-là ont été maintenues depuis lors. Le Brahms Saal reste l'un des lieux les plus prisés par les plus grands ensembles de musique de chambre et chanteurs de lieder du monde.

Avec un peu moins de 600 places, la salle est conçue pour mettre en valeur les aspects intimes de la musique classique. L'acoustique de la salle est parfaitement adaptée : la Brahms Saal - 32,50 mètres de long, 10,30 mètres de large et 11 mètres de haut - possède un brillant acoustique similaire à celui de la Große Musikvereinssaal.

Lors de l'ouverture du bâtiment Musiverein en 1870, la Kleine Musikvereinssaal était décrite comme un "véritable petit coffre au trésor". Il a même été suggéré que cette salle méritait plus d'éloges et d'émerveillement que la Große Musikvereinssaal : "On pourrait même souhaiter décerner le prix à cette salle pour son calme et sa simple grandeur". Il est tout à fait clair que le projet de Theophil Hansen pour le Brahms Saal a créé un chef-d'œuvre architectonique de la période de l'historicisme. Son engagement en faveur de la "Renaissance grecque", évident dans les allusions au Hellas classique, fait de cette salle de concert un véritable temple de la musique de chambre.

En 1993, le Brahms Saal a fait l'objet d'un vaste programme de restauration. Le projet de restauration a consisté à consulter les dessins originaux conservés à l'atelier des estampes de l'Académie des Beaux-Arts de Vienne.  Cela a permis de reconstituer le jeu de couleurs original créé par Hansen en tant qu'architecte du Musikverein : des murs verts, des colonnes rouges et l'usage libéral de l'or.

Lors de la réouverture du Brahms Saal au public sous sa nouvelle forme en 1993, un journal viennois a écrit : "Sans vouloir susciter des attentes trop élevées, cette salle de concert s'est transformée en la plus belle, magnifique et prestigieuse salle de musique de chambre que l'on puisse trouver dans le monde entier".