Conoció a Paul Simon en sexto curso. Entre los años 1956 y 1962 tocaban juntos música con el sobrenombre de Tom & Jerry. Garfunkel se hacía llamar "Tom Graph". Se matriculó en la Universidad de Columbia a principios de los sesenta, allí tocó con los Kingsmen, un grupo a capella en el que todos eran hombres. Durante su estancia en la universidad, también fue miembro de la Alpha Epsilon Pi, la única fraternidad judía en Estados Unidos y Canadá. En 1962 se sacó el Bachillerato de Artes licenciándose en Historia del Arte.

En 1963 volvió a unirse al dúo con Simon, aunque ahora ya bajo sus nombres reales, Simon y Garfunkel. En octubre de 1964 publican "Wednesday Morning, 3 A.M.", su primer álbum gracias a Columbia Records. El álbum no tuvo buena acogida, y el dúo se separó. Al año siguiente añadieron sonidos electrónicos a la canción The Sound of Silence, ya que la original solo contaba con guitarra y la voz del cantante. Se volvieron a juntar, y en los años sucesivos grabaron cinco discos más, logrando ser reconocidos como uno de los grupos más populares de la década de los 60. El dúo publicó en 1970 el álbum más elogiado de su carrera, Bridge Over Troubled Water, sin embargo, el dúo se volvió a separar debido a los diferentes intereses entre ambos y las ganas de crear una carrera en solitario.