En diciembre de 1976, durante el XXVII Congreso Federal del PSOE, el primero celebrado en España desde la Guerra Civil, Javier Solana fue elegido secretario de organización y prensa de la Comisión Ejecutiva, permaneciendo cinco años en el puesto. Se le consideró amigo personal y estrecho colaborador del líder del PSOE Felipe González y uno de los responsables de la transformación del PSOE en los años siguientes a la muerte de Franco. El 20 de mayo de 1977 acompañó a González en su visita al rey Juan Carlos I en el Palacio de la Zarzuela.
Fue elegido diputado por el PSOE el 15 de junio de 1977. Tras las elecciones de 1982 en que el PSOE ganó la mayoría absoluta en el parlamento, fue ministro al frente de Cultura (1982-1988), de Educación y Ciencia (1988-1992), de Asuntos Exteriores (1992-1995) y portavoz del Gobierno (1985-1988), siempre en gobiernos presididos por González.
Durante los trece años que permaneció como ministro Solana consiguió crearse una reputación de persona discreta y hábil diplomático. Durante los últimos años del gobierno de Felipe González logró mantenerse al margen de los escándalos de corrupción y de la implicación en la guerra sucia contra ETA, que caracterizaron el final del gobierno del PSOE.
Para finales de 1995 Solana era el único miembro del primer gobierno de González que permanecía en él. Llegó a especularse en la prensa como el posible candidato a sustituir a Felipe González al frente del PSOE. Sin embargo, Solana saltó a la política internacional.
El 5 de diciembre de 1995 Solana se convirtió en el nuevo secretario general de la Organización del Tratado del Atlántico Norte (OTAN). Su nombramiento fue controvertido, ya que anteriormente Solana se había opuesto a la Alianza Atlántica y había escrito un documento denominado 50 razones para decir no a la OTAN.
El 6 de octubre de 1999 cesó en sus funciones al frente de la OTAN y pasó a ser Secretario General del Consejo de la Unión Europea. Este cargo llevaba aparejado el de Alto Representante para la Política Exterior y de Seguridad Común, conocido popularmente como «Señor PESC» (en inglés Mr. Pesc). Con este cargo se convirtió en la principal cara de la diplomacia de la Unión Europea.
El 5 de julio de este año, Solana anunció que no renovaría en el cargo como Alto Representante de la Política Exterior y de Seguridad Común.