Labdarúgó, csapatkapitány, kitüntetett klubvezető.

Az 1932-ben megalakult Temesvári CFR Sportklub labdarúgócsapatának legjobb játékosaként Kovács József bekerül a román futball történetébe. A jól fejelő, technikás sportoló ellenfeleit megfélemlítő bátor, de sportszerű játékáért, pontos átadásaiért és erős lövéseiért a csapattársak, az edzők és a szurkolók bizalmát élvezi.

A Temesváron a gyárvárosi Patria-pálya szomszédságában született fiú 12 éves korában az ugyancsak gyárvárosi Electrica Sportklubban kezd futballozni, amely törpe, ifjúsági és felnőtt csapatában 18 éves koráig játszik. Edzőként az Electrica csapataiban a Kinizsi és a Ripensia egykori válogatott hátvédje, Hoksáry Balázs csiszolja technikáját, akinek irányításával sokrétű labdarúgóvá válik. Pályafutása során összesen öt poszton játszik, mindeniken jó teljesítményt nyújt. Amikor 1939-ben a négyszeres országos bajnok és kétszeres Románia Kupa-győztes Ripensiához igazolják át, nevét a szaksajtó Temesvár fiatal futballnemzedékének legjobb játékosai között említi. A Ripensia színeiben az 1941-1942 évi idény végéig játszott, itt Simatoc és Kotormány mellett balfedezetként szerepel. 1942 és 1945 között a Krajovai FC jobbszélsője. 1946-ban és 1947-ben a bukaresti FC Carmen középcsatáraként lövi a gólokat.

1947 nyarán visszatér szülővárosába, Temesvárra, ahol a CFR csapatkapitányaként 1956-ig játszik. Alapembere annak a CFR-csapatnak, amely az A-osztályú bajnokságban 1948-ban a második, 1950-ben és 1954-ben a negyedik, 1959-ben az ötödik és 1952-ben a hetedik helyre kerül. A CFR a Románia Kupa-viadalon 1948-ban a legjobb, döntős, ahol miután a szünetben 2-1 arányban vezet, szoros és izgalmas küzdelemben 3-2 arányú vereséget szenved az UTA-tól. A vasutas együttesben stopperként nyújtott jó teljesítménye alapján az országos válogatott edzője beválasztja a válogatott játékoskeretébe.

Az országos válogatottak tagjaként ifjúsági mérkőzéseken nyolcszor, az A-válogatott meccsein pedig hétszer játszik és két gólt lő. Számára a legemlékezetesebb az 1952-es helsinki olimpiai torna, ahol Románia válogatottja Turkuban drámai küzdelemben 1-2 arányú vereséget szenved az első helyen végző legendás magyar aranycsapattól, amely keretébe olyan világhírű futballisták tartoztak mint Grosics, Bozsik, Puskás, Kocsis, Loránt, Lantos, Buzánszky, Czibor és Dalnoki. A mérkőzés egyik hőse a temesvári Kovács József, aki miután súlyos sérülést szenved és vérző szemöldökét négy kapoccsal fogják össze, az orvos tanácsa ellenére nem vonul az öltözőbe, hanem tovább folytatja a játékot.

Edzőként 1957 és 1960 között a CFR szakvezetőjeként értékesíti tudását. 1960 és 1969 között a CFR Sportegyesület titkáraként, majd annak klubbá alakulása után, elnökeként irányítja a temesvári vasutas sportolók tevékenységét.

Érdemeinek elismeréseként megkapja a Munka Érdemrend III. fokozatát, a Román Labdarúgó Szövetség sportmester címmel tünteti ki.

Temesváron hal meg 2003-ban.