Розпочинав грати у футбол в команді «Топольчани», а 1943 року у віці 20 років перейшов до армійського клубу ОАП (Братислава), з яким став чемпіоном Словаччини в сезоні 1943/44.
Після Другої світової війни була відновлена Чехословацька республіка і Марко став виступати у її чемпіонаті за клуб із Трнави, де провів 10 років, а клуб за цей час носив назви ТШС (1945—1948), «Сокол» (1948—1949), «Ковосмальт» (1949—1953) та «Спартак» (з 1953 року). З командою в 1951 році виграв Кубок Чехословаччини, а в останні два роки був граючим тренером команди.
1954 року Марко повернувся в свою рідну команду, яка тепер носила назву «Спартак» (Топольчани), у складі якої провів наступні два з половиною роки своєї кар'єри гравця, а завершив кар'єру футболіста виступами за іншу нижчолігову команду «Спартак» (Поважська Бистриця). В обох них Марко також був граючим тренером.
18 квітня 1948 року дебютував в офіційних іграх у складі національної збірної Чехословаччини в матчі Балканського кубка проти Польщі (1:3). Загалом до кінця 1949 року провів у її формі 9 матчів, забивши 1 гол — 4 вересня 1949 року в Празі у товариській грі з Болгарією (1:3) з пенальті[1].
Завершивши кар'єру граючого тренера у 1959 році, Марко залишився у команді «Спартак» (Поважська Бистриця) і продовжив бути її головним тренером.
1965 року став головним тренером збірної Чехословаччини, яку тренував п'ять років. Йому вдалося вивести команду на чемпіонат світу 1970 року у Мексиці, де команда не здобула жодного очка в групі, після чого Марко покинув посаду. Під його керівництвом збірна провела 33 гри, здобувши 18 перемог, 5 нічиїх і зазнавши 10 поразок, різниця м'ячів 58:34[2].
1975 року прийняв пропозицію попрацювати у клубі «Жиліна». Залишив команду з Жиліни 1977 року. Після цього Марко протягом трьох років був членом тренерського комітету Чехословацької футбольної асоціації.
Останнім місцем тренерської роботи був клуб «Банік» (Пр'євідза), головним тренером команди якого Йозеф Марко був з 1980 по 1982 рік.