Tras el éxito de Atenas 1896, los Juegos Olímpicos entraron en un período de estancamiento que amenazó su supervivencia. En París 1900 la mujer hizo su aparición en las Olimpiadas por primera vez. En San Luis 1904 participaron alrededor de 650 atletas, pero 580 eran de Estados Unidos. El carácter homogéneo de estas celebraciones fue un punto en contra para el Movimiento Olímpico.
Los Juegos se recuperaron en 1906 cuando se celebraron los primeros y únicos Juegos Intercalados, llamados así porque fueron los segundos Juegos celebrados en la tercera Olimpiada en Atenas. Estos no están oficialmente reconocidos por el COI. Atrajeron a un amplio campo internacional de participantes y generaron un gran interés público. Esto marcó el inicio y constante aumento tanto de popularidad como de tamaño de los Juegos Olímpicos.
