Niestety po degradacji z II ligi na skutek reorganizacji rozgrywek Radomiakowi w rozgrywkach niższych klas wiodło się różnie. Kilkakrotnie radomianie byli bliscy awansu, ale zawsze coś stawało na drodze do sukcesu. W składzie znajdowali się dobrze wyszkoleni technicznie zawodnicy tacy jak m.in.: Leszek Krzysiak, Kazimierz Kszczotek, Stanisław Popławski, Jan Witarski czy Krystian Kutyła, ale rywale okazywali się lepsi. Stąd też Radomiak spędził w ligach międzywojewódzkich i okręgowych aż 22 lata. Jedynym osiągnięciem było wychowanie uzdolnionych juniorów - Tadeusza Mosiołka i Jerzego Osucha - reprezentantów Polski juniorów.
Bardzo ważnym wydarzeniem w historii klubu była fuzja, która miała miejsce w 1967 roku. Połączone zostały wówczas Radomskie Koło Sportowe i Klub Sportowy Radomiak w Radomski Klub Sportowy Radomiak. Nowy klub został spadkobiercą i kontynuatorem dotychczasowych tradycji. Chciano wreszcie zbudować zespół na miarę oczekiwań radomskich kibiców. Pierwsza okazja nadarzyła się już w 1969 roku. Wtedy to drużyna "Radoskóru", bo tak też potocznie nazywano graczu z ul. Struga wywalczyła awans do III ligi. Jednak pobyt w tej klasie rozgrywkowej trwał tylko rok. W 1972 roku radomianie ponownie okazali się najlepsi w lidze okręgowej. Niestety pobyt trwał znów zaledwie rok. Tym razem stało się tak po decyzji PZPN, który zlikwidował III ligę.