Ondřej Karafiát začínal s fotbalem v pražské Spartě, kde byl v lednu 2014 do přípravy A-týmu. Do užšího výběru se však ve Spartě nedostal. A tak v létě 2014 odešel na hostování do Viktorie Žižkov, odkud se o rok později přesunul do klubu SK Dynamo České Budějovice. V obou druholigových celcích se objevoval pravidelně v základní sestavě. Po skončení hostování v Budějovicích se však do Sparty nevrátil, neboť ho odkoupil FC Slovan Liberec. V Liberci se zanedlouho stal klíčovým článkem defenzivy. Dne 5.8.2017 vstřelil proti Sigmě Olomouc svůj první gól v české nejvyšší soutěži. 17. července roku 2020 byl oznámeno, že Karafiát podepsal smlouvu ve Slavii po ukončení jeho smlouvy v Liberci.