En 2004 llegó 'Medúlla', un álbum considerado por los críticos como un sabotaje a la música comercial, en el que recurrió al uso de vocalistas y beats electrónicos para reemplazar a los instrumentos de música tradicionales. La última canción en grabarse fue 'Oceania', la canción de los Juegos Olímpicos que fue todo un desafío.