Le jeune Ziehrer effectue son apprentissage de la musique au conservatoire de Vienne, auprès de Simon Sechter, et commence à composer en 1862. L'année suivante (1863), il est repéré par l'éditeur Carl Haslinger(de) qui décide de le publier, et à la fin de cette même année, il dirige son premier concert à Vienne, dans le but voulu par Haslinger de concurrencer les frères Strauss (Johann II, Josef et Eduard). En 1867, il prend la direction d'un nouvel orchestre viennois puis, de 1870 à 1873, il est le chef d'un orchestre militaire, toujours à Vienne (à noter que dans l'intervalle, après la mort d'Haslinger fin 1868, il est passé chez l'éditeur Ludwig Döblinger). Et en 1873, il devient le directeur musical d'un autre orchestre viennois, avec lequel il se produit lors de l'Exposition universelle de 1873 (à Vienne).
Dans le cadre de ses activités de chef d'orchestre, Ziehrer fait des tournées en Europe (Allemagne, Roumanie…) et, alors qu'il est à la tête d'un autre orchestre militaire viennois (de 1885 à 1893), il se produit avec lui à l'Exposition universelle de 1893 (à Chicago, aux États-Unis). De retour en Europe, il obtient encore un poste important en 1907, celui de directeur musical des bals de la cour impériale (poste où l'un de ses prédécesseurs était Johann Strauss I) qu'il conserve jusqu'en 1915.
Ruiné par la Première Guerre mondiale (ses biens sont détruits), Ziehrer meurt dans la misère et oublié en 1922, n'ayant jamais réussi à s'imposer face aux Strauss.
Comme compositeur, on lui doit pourtant un corpus important, riche de vingt-trois opérettes et d'environ six-cents pièces pour orchestre (valses, polkas, marches, mazurkas...), dont certaines tirées de ses opérettes — telle Liebeswalzer, valse (opus) op. 537 de 1911, d'après l'opérette Die Liebeswalzer, créée en 1908 —.
Enfin, signalons que deux opérettes de Ziehrer ont été jouées à Broadway (New York), Ein tolles Mädel (de 1907, adaptée l'année suivante sous le titre Mlle Mischief) et Die Liebeswalzer pré-citée (de 1908, adaptée en 1911 sous le titre The Kiss Waltz, avec Robert Warwick).
Compositions (sélection)
Opérettes
Mahomeds Paradies (1866)
Der Orakel zu Delphi (Linz, 1872)
König Jerôme ou Immer lustig (Vienne, 1878)
Wiener Kinder (Vienne, 1881)
Ein Deutschmeister (Vienne, 1888)
Der bleiche Zauberer
Wiener Luft (1889)
Die Landstreicher (Vienne, 1899)
Die drei Wünsche (Vienne, 1901)
Der Fremdenführer (Vienne, 1902)
Der Schätzmeister (Vienne, 1904)
Fesche Geister (Vienne,1905)
Am Lido (Vienne, 1907)
Ein tolles Mädel (Vienne, 1907)
Der Liebeswalzer (Vienne, 1908)
Der Gaukler (Vienne, 1909)
Ball bei Hof (Vienne,1911)
Herr und Frau Biedermeier (Vienne, 1910)
In fünfzig Jahren (Vienne, 1911)
Fürst Casimir (Vienne, 1913)
Der Husarengeneral (Vienne, 1913)
Das dumme Herz (Vienne, 1914)
Die verliebte Eskadron (Vienne, 1920)
Pièces pour orchestre
1866 : Männerherz, mazurka op. 54 ; Ein Blick nacht ihr, polka op. 55 ; König-von-Sachsen-Huldigungs-Marsch, marche op. 64 ; Auf hoher See, valse op. 66
On doit à l'éditeur Naxos la publication, sous étiquette Marco Polo, d'une anthologie conséquente, en cinq disques-compacts, consacrée à Ziehrer, sous les références suivantes : Ouvertures d'opérettes, réf. MP 8.225332 ; Danses et marches, réf. MP 8.223814 (vol. 1), 8.223815 (vol. 2), 8.223172 (vol. 3) et 8.223817 (vol. 4).