Začal být známý už v polovině 70. let 20. století díky angažmá v kapele ETC… Vladimíra Mišíka. Zároveň hrál coby host ve studiu i na koncertech se skupinami Marsyas, Pražský výběr, Mahagon a Jazz Q Martina Kratochvíla. A nakonec si postavil vlastní kapelu, inspirovanou knihami J.R.R. Tolkiena. Houslista Jan Hrubý, který 3. prosince slaví 65. narozeniny, se už dávno zařadil mezi české rockové legendy.

Po albu Vladimír Mišík – ETC… 4 v roce 1988 Hrubý z kapely odešel a počátkem devadesátých let začal nahrávat a koncertovat s vlastní skupinou Kukulín. Často hrál víc v zahraničí než v tuzemsku. Jeho hudba spojovala moravskou zpěvnost a českou lidovou píseň s keltskými odkazy.

S rockovými zpěváky, Vladimírem Mišíkem nebo Michalem Prokopem, zpravidla vystupoval jen v malých akustických projektech. Housle jsou stále jeho hlavním nástrojem, ale na svých sólových albech hraje i na varhany a další klávesy, na akustickou kytaru a mandolu i perkuse.

Hrubý v letech 1964–1968 studoval hru na housle na Pražské konzervatoři, poté hrál na baskytaru a později na housle ve skupině Reciprocity, načež se přidal k Mišíkovi. Od roku 1983 vystupoval také v Blues Bandu Luboše Andršta.