El grupo se forma a principios de los 60's con Keith Hopwood (guitarra), Karl Green (bajo), Derek "Lek" Leckenby (guitarra y voz), y Barry Bean Whitwam (batería) y luego se les unió Peter Noone (voz principal). A pesar de que Noone era el miembro más joven de la banda (16 años), tenía una gran experiencia como actor en la serie británica "Coronation Street".

El grupo logra colocar rápidamente varios sencillos en las listas de popularidad tanto en Gran Bretaña como en Estados Unidos. Logran su único #1 en Gran Bretaña con el sencillo "I'm Into Something Good", además de que logran éxitos como "I'm Henry VIII, I'm" y "Mrs. Brown You've Got a Lovely Daughter". Se presentan repetidas ocasiones en The Ed Sullivan Show de forma exitosa. El punto máximo de su fama es entre 1964 y 1965.

Hacia 1966, la popularidad del grupo empieza a decaer, a pesar de sus esfuerzos y de que logran todavía un éxito más con "No Milk Today", canción que es todo un clásico. Un último intento fue "There's a kind of Hush". Su imagen y pop muy digerible y suave no logra sobrevivir a la era psicodélica y Noone deja el grupo en 1971. Así el resto continúa con el grupo con poco éxito hasta 1974 en que el grupo se desintegra. Varios miembros de la banda han estado desde entonces haciendo actuaciones bajo el nombre de "Herman's Hermits", sin mucho éxito y teniendo problemas entre ellos por el nombre.