元帝后期，朝政较为混乱。宦官石显趁元帝生病，结党营私，扰乱朝政，大儒萧望之被石显逼得自尽。公元前33年，元帝病死，刘骜即位，为汉成帝。匡衡见石显在元帝病重期间，迫害了很多人。成帝一上台，匡衡就列出石显过往罪证。成帝看后，将石显免官，他的党羽也都受了惩罚。
但朝中大臣也有人认为，匡衡身为辅政大臣，早年不及时参奏揭发，却阿谀曲从，没有尽到责任，对他提出弹劾。匡衡也自感惭愧，一再请求辞职，汉成帝不允。
在汉朝时，凡是封侯的人，都是享受赐予的土地为其采邑。匡衡当时的封地有3100顷，封地中的租税都归匡衡享用。但是因为土地丈量有误，多给匡衡划了400顷封地。或许一开始匡衡并不知道，但是属下向他报告的时候，他并没有打算还给国家，而是将错就错。当地官员也不敢得罪这个当朝宰相啊，所以这400顷地，就成了匡衡的私人财产。
但是朝中对匡衡不满的人，以匡衡扩大国界为由，告到成帝那里。尽管匡衡位极人臣，很得元帝器重，但像他这样明目张胆地违法乱纪，成帝如何能容忍。成帝派人去查，果真如此，行了，你匡衡的是打算辞职吗？那就彻底一点好了，贬为庶民吧。但皇帝念匡衡为朝廷旧臣，多所贡献，故将多出的土地依旧归其所有，以示安慰。成为庶民的匡衡回到家乡，十分难过，没过几年，就病死了。
后世对其评价
民间评价：“即说诗，匡衡来，匡说诗，解人颐。”
唐代杜甫：“匡衡抗疏功名薄， 刘向传经心事违。”
后世评价：匡衡勤奋无比、通古博今，经学绝伦，直言进谏，刚直不阿，受人敬重，是汉代著名经济学家和政治家。匡衡被《汉书》列为一代名相而世代相传。
