Zdjęcia do filmu realizowano w Gdańsku, Katowicach, Krakowie, Zakopanem, Warszawie, Bielanach-Jarosławach, Dąbrowie Górniczej oraz w Pałacu Zamoyskich w Kozłówce (Polska).
Pierwsza wersja scenariusza została opublikowany w warszawskiej "Kulturze" 6 sierpnia 1963 roku. Władze nie dopuściły do jego realizacji, dopiero w następnej dekadzie uzyskano zgodę na rozpoczęcie zdjęć, sam scenariusz jednak znacznie zmieniono.
Całą odpowiedzialność za możliwość pojawienia się "Człowieka z marmuru" na ekranach wziął na siebie minister kultury i sztuki, Józef Tejchma. Niemożliwe było jednak prezentowanie filmu na pokazach zagranicznych. Cudu dokonał paryski dystrybutor filmów Wajdy, Tony Moliere. Kupił on "Człowieka z marmuru" i otrzymał jedną kopię do opracowania. Dzięki temu film obejrzał dyrektor festiwalu w Cannes i pokazał go poza konkursem.
Andrzej Wajda zaczerpnął pomysł na scenariusz z anegdoty opowiedzianej mu Jerzego Bossaka. Wspomniał o pewnym murarzu, który przyszedł do urzędu zatrudnienia, lecz odesłano go z kwitkiem, gdyż w Nowej Hucie potrzebnni byli już tylko ludzie do odlewni stali. Wkrótce jedna z urzędniczek zorientowała się jednak, że był to sławny w poprzednim sezonie politycznym przodownik murarski.
Postać grana przez Krystynę Jandę, Agnieszka, miała swój odpowiednik w rzeczywistości. Bowiem do stworzenia postaci o tak wyrazistym charakterze zainspirowała Andrzeja Wajdę, studiująca wówczas w łódzkiej Szkole Filmowej Agnieszka Osiecka.