Den Beginn seiner künstlerischen Ausbildung nahm Carl Graeb bei dem Bühnenbildner und Theatermaler Johann Karl Jakob Gerst sowie an der Berliner Akademie bei Carl Blechen und Johann Erdmann Hummel. Um 1837 bereiste er Tirol. Eines der Gemälde, die bei dieser Reise entstanden, kaufte König Friedrich Wilhelm III. Die Anerkennung seines Werkes motivierte ihn dazu auch in den Folgejahren an Akademieausstellungen teilzunehmen. Einen besonderen Blick für die Architektur erhielt Graeb, als er ab 1841 im Auftrag König Friedrich Wilhelms IV. die neu gestalteten Parkanlagen und Bauten in und um Potsdam dokumentierte. Zeitgleich verdingte er sich bis 1844 als Dekorationsmaler am privaten Königstädtischen Theater und ging so seiner früh gelernten Profession nach, die er nie ganz vergessen sollte. Auch dem ehemaligen Lehrer Johann Karl Jakob Gerst begegnete er wieder, als er ab 1844 in dessen Atelier mitarbeitete. Noch im gleichen Jahr vermählte er sich mit der Tochter des Meisters Minna Gerst. Zuvor hatte er die Welt bereist, war in Frankreich und in der Schweiz gewesen und Italien bis nach Sizilien gesehen. 1851 wurde Graeb zum königlich-preußischen Hofmaler ernannt, Aufträge für eine Reihe mit Architekturansichten sowie drei große Wandgemälde im Neuen Museum in Berlin folgten. 1855 wurde er zum königlichen Professor ernannt, 1860 zum Mitglied der Akademie der Künste. Bis ins fortgeschrittene Alter bestritt er ausgiebige Reisen durch Deutschland, Österreich, Oberitalien, die Schweiz und nach Böhmen. Er verstarb im April 1884 in Berlin.