Jego budowę rozpoczęto 6 VIII 1934 w dwudziestą rocznicę wymarszu z Krakowa I kompanii kadrowej Legionów, dla uczczenia czynu zbrojnego podczas pierwszej wojny światowej. Jednakże po śmierci marszałka Józefa Piłsudskiego w 1935 roku, postanowiono kopiec nazwać jego imieniem. Sypano go do 9 VII 1937 roku. Jest dzięki temu najmłodszym kopcem Krakowa, a jednocześnie największym - ma niemalże 36 metrów wysokości. Podobnie jak w kopcu Kościuszki, w nim także znajduje się ziemia ze wszystkich pół bitewnych żołnierzy polskich podczas pierwszej wojny światowej, a także z różnych miejsc na świecie upamiętnionych czynami wybitnych Polaków. Nad kopcem, od 1980 roku opiekę sprawuje, Komitet Opieki nad Kopcem Józefa Piłsudskiego, działający przy Towarzystwie Miłośników i Historii Zabytków Krakowa.