Bei mir auf dem Galaxy S1 ist das so ähnlich möglich. Ich gehe in der Leiste oben auf "Interpreten", dort sind dann alle alphabetisch (mit angezeigter Albenanzahl) sortiert. Klicke ich irgendeinen, zeigts mir dann die Alben an.
Benutze allerdings Cyanogenmod.
Wenns dir so wichtig ist, solltest du das in betracht ziehen

, obwohl ich mir ziemlich sicher bin, dass auch irgendein Player aus dem Market das bieten sollte.