Din copilarie a fost polisportiv. La 15 ani, ca elev al Liceului Dimitrie Bolintineanu din Bucuresti, a facut atletism, evoluand in probele de aruncarea greutatii si saritura in inaltime. In paralel, a jucat si in echipa de handbal in 11 a liceului. In anii ’57, dupa ce a intrat la scoala militara de ofiteri, Gheorghe Gruia a jucat volei la echipa Tractiune Depou – Triaj, dupa care, in 1958, a fost transferat la Clubul Central al Armatei (Steaua).
In 1961, antrenorul emerit Ioan Kunst Ghermanescu i-a observat calitatile sportive de exceptie si l-a determinat sa se dedice in totalitate handbalului. In 1962 a debutat in echipa de handbal de tineret a Romaniei, iar mai apoi in nationala de seniori.
In 1963 a cucerit primul sau titlu national cu echipa de handbal Steaua Bucuresti, din cele opt pe care le are in palmares cu team-ul militar. Un an mai tarziu, la Praga, a urcat pe cea mai inalta treapta a podiumului mondial alaturi de reprezentativa de handbal a Romaniei, obtinand prima sa medalie de aur la o editie a CM, performanta pe care a reeditat-o in 1970, la Paris.
In 1967, cel supranumit "Mana de aur” a handbalului romanesc a fost declarat cel mai bun handbalist al lumii, iar in 1992 a fost desemnat cel mai bun handbalist al tuturor timpurilor de catre Federatia Internationala de Handbal (IHF).
A evoluat in tricoul nationalei Romaniei in 127 de partide si a marcat 736 de goluri. La Jocurile Olimpice de la Munchen, din 1972, Gheorghe Gruia a inscris 37 de goluri, fiind golgheterul nationalei Romaniei care a cucerit medalia de bronz.
In anii ’70 a emigrat in Mexic, tara unde a continuat sa evolueze ca jucator, iar dupa retragerea din activitatea competitionala a fost antrenor de handbal si volei.
I s-a acordat titlul de Mestru Emerit al Sportului si a fost distins cu Ordinul national Pentru Merit in grad de cavaler.
A decedat in decembrie 2015.