1914. december 21-én született Győrben, protestáns családban; apja lelkész és Bibliatudós volt. Győri és ceglédi elemi és középiskolai tanulmányai után 1932-ben kezdte meg tanulmányait a Debreceni Egyetemen teológia és nyelvészet szakokon. Érdeklődése középpontjába a sémi filológia került, leginkább az Ószövetség nyelvei vonzották. 

1934-ben ösztöndíjasként Belfastba ment, ahol teológiát hallgatott, majd 1936-39 között Utrechtben arab szakos képesítést is szerzett, s doktorálni is ott készült, de vizsgájára végül nem kerülhetett sor a háborús körülmények miatt. 1939-ben felvételt nyert a Budapesti Egyetemre, az Eötvös Kollégiumba is bekerült, majd 1940-ben szerezte meg nyelvészetből doktorátusát. 1941-42-ben Bécsben tanult keleti nyelveket és orosz nyelvet, illetve arab földrajztudósok munkásságát tanulmányozta kora legkiemelkedőbb szakértője, Hans von Mžik vezetése alatt. Ebben az időszakban kezdett érdeklődése a magyar őstörténet felé fordulni, melynek kutatása későbbi szakmai pályájának legfontosabb területe lett.

Miután hazatért Magyarországra, először a Budapesti Egyetemen tanított, a Németh Gyula vezetése alatt álló Török tanszéken. Kezdetben megbízott előadóként működött. 1942-ben felkérést kapott, hogy indítsa újra a sémi filológiai és arabisztikai képzést, mely 1931 óta szünetelt. Ennek tanszékvezetője lett az egyetemen 1960-ban, illetve tanszékvezetőként működött 1964-től egészen 1985-ös nyugdíjba vonulásáig. Nyugalmazása után is sokáig vett részt még a tanszék munkájában.

Németh Gyula hatására kezdte a volgai bolgárok nyelvét (bolgár-török) tanulmányozni, mely alapvető jelentőséggel bírt a magyar őstörténet kutatása számára. Munkásságára szintén meghatározó befolyást gyakorolt Ligeti Lajos, aki 1943-ban publikált, A magyarság őstörténete c. tanulmánykötetben három téma kidolgozására kérte fel (az elkészült fejezetek címei: A magyarok Dél-Oroszországban, Keleten maradt töredékek, A magyar őstörténet mohamedán forrásai), és Pais Dezső nyelvészprofesszor, aki a magyar őstörténet kutatására biztatta.

1942-ben fogalmazta meg életre szóló programját, melynek végrehajtásán, kivitelezésén fáradhatatlanul munkálkodott. Ez a program a mongol hódítás kora előtti sztyeppelakó népek történetének, törzsi rendszerének, politikai berendezkedésének kutatását tűzte ki célul, különböző források feldolgozásával: az adott törzsek saját anyagai mellett a szomszédos, letelepedett népek történelmi és földrajzi műveit számba véve, tehát bizánci, perzsa, arab, örmény és grúz írásokra támaszkodva. Ezeket a forrásokat összehasonlító filológiai módszerrel dolgozta fel és vetette alá kritikai értékelésnek.

Az arabisztikát a magyarságkutatás számára fontos tudományágnak kezelte, a magyarság történetében kiemelte az iszlámmal való érintkezés kevésbé nyilvánvaló, kevéssé ismert mozzanatait is.

“Ezeréves történelmünk során erős volt az iszlám jelenlét. Jó példa erre, hogy első királyaink pénzén ott van az ősi buharai (bokharai) pénzverdék jele. Az Árpádházi királyok adószedői is jórészt mohamedánok voltak.” (Előadás Berlinben. Iszlámkutatás és magyar őstörténet. Kézirat. 1981.) 

Ezen felül hangsúlyozta, hogy az arab források – történelmi, földrajzi, útleíró, stb. – bőséges anyagot hoznak a honfoglalás előtti magyar történelemre, a magyarok ázsiai, majd európai jelenlétére vonatkozóan. Az arab és perzsa források adatait összevetette az európai, elsősorban bizánci történelmi forrásokéval, a különbségek vizsgálatakor pedig felfigyelt rá, hogy az ellentmondások többnyire annak köszönhetőek, hogy azok a magyarok történetének különböző szakaszairól és helyszíneiről számolnak be. Ezt láthatjuk a fentebb, a korai tanulmányok közt említett két korai munka, A magyarság Dél-Oroszországban és a Keleten maradt töredékek esetében: az ősmagyar kor kései időszakáról szólnak, amelyhez Czeglédy Károly a bizánci VII. Konstantinos Porphyrogennetos bizánci császár De administrando imperio című munkájának magyarokra vonatkozó fejezeteit, valamint az arab geográfusok forrásait használta fel.

A negyvenes évek elejétől rendszeresen publikálta a magyar őstörténet, a türk, kazár, besenyő, és hun népek történetével foglalkozó cikkeit a Magyar Nyelv folyóiratban, melyek között kiemelkedő jelentőséggel bírnak A IX. századi magyar történelem főbb kérdései (1945), A kunok eredetéről (1949), A török népek és nyelvek tagolódásának kérdéséről (1949). Történeti-földrajzi kutatásainak legértékesebb eredménye a Duna-régióra vonatkozó Khwárizmi térkép rekonstruálása.

A későbbiek során Czeglédy kiterjesztette érdeklődését más sztyeppelakó népek Kr. e. 2. és i. sz. 6. század közötti történelmére is, s ezért újabb keleti nyelvek – grúz, örmény, kínai – tanulmányozásába kezdett, hogy olvashasson további történelmi és földrajzi forrásokat.

A 60-as évektől tagja volt a Magyar Tudományos Akadémia Orientalisztikai Bizottságának, 1962-től a Magyar Nyelvtudományi Társaság Keleti Szakosztályának az elnöke volt. 1969-től a Kőrösi Csoma Társaság tagja volt, majd alelnökként, 1976-tól 1988-ig elnökként tevékenykedett, 1988-tól haláláig megtartották tiszteletbeli elnökként.

Fő műve az 1969-ben megjelent Nomád népek vándorlása Napkelettől Napnyugatig, illetve magyar nyelven publikált cikkeinek gyűjteményes, 1985-ben kiadott kötete, a Magyar őstörténeti tanulmányok. Az előbbi az ázsiai hunok vándorlásával kezdődő és a kazár korig tartó, Belső-Ázsiától Délkelet-Európáig húzódó népmozgásokat ábrázolta. A hunok, az avarok, a tohárok, szavirok, jászok, heftaliták, zsuanzsuanok, tinglinek, ogurok, onogurok, kálizok, türkök, kazárok, stb. történelmét, törzsi, nyelvi etnikai eredetét mutatja be, ahol csak lehet, utalva a magyarokkal való kapcsolatokra is, s mindezt tömör, ugyanakkor választékos stílusban. Az utóbbiban szintetizálta a rovásírásos türk feliratokból, a bizánci, arab és perzsa forrásokból levont kutatási eredményeit az örmény, grúz, kínai évkönyvekben fölfedezett forrásmunkák adataival. Korábbi írásait kiegészítette, pótolta – ahol úgy látta, szükséges – a hiányokat.

Nemzetközi elismerésnek örvendett, török kitüntetések sorát vehette át, és az Indianapolisi Egyetem Aranyérmét is.

1996. június 20-án hunyt el.