他在為平帝、帝哀的時候，地位並沒有超過壹個官員。傅皇後的父親嚴復對桓譚非常友好。此時高安侯董賢得寵，其妹入宮作禮，皇後日漸疏遠，嚴復沈默寡言，非常不如意。桓譚勸道:“當年漢武帝想立衛子夫為皇後，暗中找陳皇後的茬，最後廢了皇後，立了衛子夫。現在董賢最受寵，妹妹也特別受寵。恐怕會出現類似衛子夫取代皇後的變化。妳能不擔心嗎！”嚴復很感動，說:“那我該怎麽辦呢？”桓譚說:“懲罰不能加在無辜的人身上，邪惡不誠實的人不能打敗正直的人。文人憑借聰明獲得君主的信任，女子憑借阿諛奉承獲得皇帝的寵愛。皇後年輕，更難討得歡心。有些人驅使巫醫到外面尋求占星方士，這是無法避免的。另外，妳以女王父親的榮譽廣交賓客，肯定會給人把柄，招致非議。不如罷官從眾，誠實謹慎。這才是修己避禍之道。”嚴復說:“很好。”於是他遣散了壹直在宮裏的客人，按照桓譚的警告，去宮裏報告皇後。後來，董賢真的唆使太醫去結交秦榛，並使他成為羅誌的罪魁禍首。於是，朝廷逮捕了皇後的弟弟傅，並上書立案，結果壹無所獲才將其釋放，這樣傅終於在為皇帝服喪期間保住了性命。董賢當了大司馬，聽到桓譚的大名，想和他交朋友。桓譚首先上書董賢，勸他輔佐國家保全自己。董賢接受不了，所以桓譚沒有和他來往。
世祖即位，桓譚招為詔發。後來，洪推薦了桓譚，並授予他議事的職位，於是他寫了壹封信，說明了在時政中應該註意的事項。聽說壹個國家的強盛在於政事，而政事的成敗取決於有沒有人輔佐。輔佐賢人賢士滿朝廷，治國能與天下大事相合；如果輔助不明，討論的東西就過時了，措施就會更失誤。執政君主欲興教育，立德行，而政治之所以不明確，是因為侍郎們是否明智。奏章呈上後，皇帝沒有看。
這時候的皇帝迷信占蔔，經常用占蔔來解決難以理解的事情。皇帝下令開會討論並確定平臺的位置。皇帝對桓譚說:“我想用預言的話來決定這件事。怎麽樣？”桓譚沈默了半晌，道:“我不看預言。”皇帝問他為什麽，桓譚辯解說蔔筮不是經典真理。皇帝大怒:“桓譚批評聖家無視國法，拉出來砍頭！”桓譚磕頭磕到額頭出血，苦苦哀求了很久才被赦免。後來從北京調到六安縣當縣長，經常心情抑郁。他在就職途中病死，七十多歲去世。
起初桓譚寫《新論》討論當時時事，世祖稱之為好。壹片琴島沒有完成，肅宗命班固繼續完成。元和年間，蘇宗東征打獵，到了沛縣就派使者去拜桓譚墓，被鄉民們視為壹件非常光榮的事情。望采納。