Theodor Zeller wird im schwäbischen Donzdorf geboren. Kurz vor seinem Abitur meldet sich Zeller freiwillig zum Kriegsdienst. Nach Ende des Ersten Weltkriegs holt er sein Abitur 1920/21 nach und schreibt sich auf Wunsch seiner Mutter 1922 an der Universität in Tübingen für die Fächer Theologie und Philosophie ein, um Priester zu werden. Für kurze Zeit wechselt er an die Universität Freiburg im Breisgau und kann mithilfe eines Stipendiums für zwei Semester in München studieren. Dort bewirbt er sich an der Münchner Kunstakademie, wird aber abgelehnt. Zurück in Freiburg bricht Zeller sein Theologiestudium ab und wendet sich der Malerei zu. Zunächst lernt er von Hans Lembke die Grundlagen des Aktzeichnens. Ein Mäzen ermöglicht ihm 1927 ein einjähriges Kunststudium in Florenz. 1928 heiratet Zeller Eva-Martina Gurschner aus Wien. Das Ehepaar zieht gemeinsam nach Denzlingen bei Freiburg, wo Zeller fortan als freischaffender Künstler in einem eigenen Atelier arbeitet. Ab 1935/36 verstärken sich die persönlichen Anfeindungen, da seine Frau jüdischen Glaubens ist. Eva-Martina Zeller erhält postalisch die Aufforderung zur Zwangssterilisation. Daraufhin flüchtet sie nach Rom, wo sie in der Villa Massimo, wo zu der Zeit viele deutsche Künstler leben, Arbeit findet. Da sie ihre arische Herkunft nicht belegen kann, wird sie entlassen.
Im Jahr 1937 verweigert Theodor Zeller den Beitritt zur „Reichskulturkammer“ und erhält daraufhin Berufsverbot. Im Rahmen der Aktion „Entartete Kunst“ 1937 werden seine Werke aus dem Freiburger Augustinermuseum entfernt. Im Jahr 1938 verlässt Zeller Deutschland und geht ins Exil nach Rom. Gemeinsam mit seiner Familie lässt er sich in Palestrina bei Rom in einem Kapuzinerkloster nieder, bis sie 1941 ihr Refugium für einen italienischen Offizier aufgeben müssen. In den folgenden Jahren lebt die Familie in verschiedenen Städten in Italien, zuletzt in Florenz, bis die Familie getrennt wird. Zeller selbst bleibt vorerst in Florenz und arbeitet als Dolmetscher und Zivilangestellter, gerät aber in amerikanische Kriegsgefangenschaft. Nach seiner Entlassung 1946 zieht die Familie 1947 gemeinsam nach München.