Den 4. marts 2004 Köhler fratrådt sin stilling med IMF efter at være blevet udpeget af Tysklands konservative og liberale oppositionspartier, som deres præsidentkandidat. Da disse partier kontrolleret et flertal af stemmer i Bundesversammlung (et valgkollegium bestående af medlemskab af Forbundsdagen og et tilsvarende antal af delegerede udpeget af lovgivere i hver stat), resultatet af afstemningen udgjorde væsentlige givet på forhånd, men var tættere på end forventet. Köhler besejrede Gesine Schwan på den første valgrunde af 604 stemmer mod 580 og 20 stemmer var afgivet for mindre ansøgere, mens en vælgeren var fraværende på grund af et hjerteanfald. Köhler lykkedes Johannes Rau som formand den 1. juli 2004 for en femårig periode. Tysklands formandskab er en stort set ceremoniel kontor, men er også investeret med stor moralsk autoritet. Fra 2004 til begyndelsen af 2006, blev Charlottenburg Palace sæde for Tysklands præsident, blev samtidig Schloss Bellevue blive renoveret.
Efter hans valg, Köhler, en konservativ tysk patriot, sagde, at “Patriotisme og være kosmopolitiske er ikke modsætninger.” “Han syntes et oplyst patriot, som virkelig elsker sit land og er ikke bange for at sige det”, avisen Die Welt skrev. Præsentation af hans visioner for Tyskland, Köhler sagde også, at “Tyskland skulle blive et land af ideer”, og understregede betydningen af globaliseringen, og at Tyskland ville have til at konkurrere om en plads i det 21. århundrede.
I juli 2005, suspenderede han Forbundsdagen i forbundskansler Gerhard Schröder anmodning, efter at sidstnævnte havde mistet en bevægelse af tillid i Forbundsdagen. Dette førte til tidlige valg til Forbundsdagen i september 2005.
I oktober 2006 fremsatte han en vidtrækkende beslutning, som nedlægge veto mod lovforslag, der vil overføre Tysklands Luftfartssikkerhed Administration Deutsche Flugsicherung i privat eje. Forbundsdagen vedtog denne lovgivning, men som formand, blev Köhler tilladelse til ikke at underskrive det til lov, hvis der efter hans mening, er det i strid med forfatningen. I december 2006 gjorde han ikke underskrive Consumer Information Law (som har til formål at stille oplysninger indsamlet af offentlige fødevaremyndigheder til rådighed for forbrugerne), fordi forfatningen ikke tillader den føderale regering til at instruere de kommunale myndigheder. Dette kan kun gøres ved de tyske delstater. Der havde kun været seks tidligere lejligheder, hvor Tysklands præsident havde valgt at afvise regninger, i de fleste tilfælde mindre vigtig lovgivning var involveret. Hans vetoer var de første gode eksempler i nyere tysk historie.
I sin 2007 Christmas tale til nationen, opfordrede Köhler regeringen til at gå videre hurtigere med reformer. Han var også kritisk over for indførelsen af minimumsløn i postsektoren (som havde ført til tabet af 1000 arbejdspladser på Deutsche Post rival PIN-Gruppen), om, at “en mindsteløn, der ikke kan betales af konkurrencedygtige arbejdsgiverne ødelægger job”.
Den 22. maj 2008, Köhler annonceret sit kandidatur til endnu en periode som præsident. 23. maj 2009 blev han genvalgt som Føderale Forsamling, og blev taget i ed i kontor for endnu en embedsperiode den 1. juli 2009.
I november 2009 nægtede Köhler at underskrive “Zugangserschwerungsgesetz” (Access hindring Act) i lov uden yderligere oplysninger. [3] Loven, der har til formål at gøre det vanskeligere at få adgang til websteder på World Wide Web med børnepornografi, anses af mange juridiske eksperter, der skal forfatningsstridig.
