Józef Gruszka był posłem w latach 1993–2005. W Sejmie IV kadencji zasiadał w Komisji do spraw Służb Specjalnych oraz Komisji Finansów Publicznych.
W 2004 roku bez powodzenia kandydował do Parlamentu Europejskiego. Od lipca 2004 do kwietnia 2005 roku pełnił funkcję przewodniczącego komisji śledczej ds. Orlenu.
10 kwietnia 2005 roku doznał udaru mózgu i przeszedł operację neurochirurgiczną w szpitalu w Kaliszu. Po wybudzeniu ze śpiączki farmakologicznej przez ponad rok przechodził rehabilitację w szpitalach w Bydgoszczy i Tarnowskich Górach.
Sprawa nagłego pogorszenia się stanu zdrowia posła w trakcie kierowania komisją była badana przez prokuratora, który uznał, że udar mózgu wynikał z naturalnych zmian chorobowych, związanych m.in. z nadciśnieniem.
Śmierć Józefa Gruszki skomentował historyk Sławomir Cenckiewicz. "Był obiektem dużych kombinacji operacyjnych tajnych służb... Stracił zdrowie! Jego historia to przestroga. Wiele by pisać... Mam nadzieję, że będzie państwowy pogrzeb" – napisał na Twitterze.
Józef Gruszka zmarł w niedzielę w wieku 73 lat.