Posteriormente, Williams organizó un viaje con el grupo -que por entonces estaba formado por John Lennon, Paul McCartney, George Harrison y el bajista Stuart Sutcliffe- hasta Hamburgo. En la ciudad alemana los Beatles también tocaron en un local propiedad de su manager, el Blue Angel.
No obstante, en 1961 Williams dejó de ser el manager de la banda al tener discrepancias con sus miembros sobre los honorarios que recibía, el 10%. A pesar de ello, Williams se sentía alegre de haber disfrutado, al menos, de un corto de tiempo con ellos.
En una entrevista a Liverpool Echo en 2010, Williams afirmó que siempre ha estado "ogulloso de los Beatles y feliz de haber sido sólo un pequeño engranaje en la rueda del grupo más famoso del mundo".