Rundgren fue durante toda su infancia y adolescencia un apasionado de la música, inclinándose por la que en aquellos momentos se hacía en Gran Bretaña, hasta el punto de llegar a idealizar el lugar. Le apasionan especialmente los Beatles, los Kinks o The Who, así como el movimiento mod.

En 1965, con diecisiete años, forma su primera banda, Money. Unos meses después, Money desaparece y es sustituida por un nuevo proyecto, Woodys Truck Stop con tan poco éxito como la anterior banda.

Rundgren estudia electrónica, historia del arte, piano y filosofías orientales, pero sobre todo practica con la guitarra, con la que cada vez adquiere mayor maestría.

En 1968 forma su tercer grupo, Nazz, junto con Robert Antoni (voz y teclados), Thomm Mooney (batería) y Carson Van Osten (bajo). Con Nazz graba tres álbumes de éxito relativo, tal vez por su excesiva sofisticación.