但潘安的人品和所作所为，却有些令人不齿。潘安为其才名所累，年轻时仕途始终不太顺畅，做来做去，也就是县令之类的小官。是以心态慢慢发生了变化，对前途的急切热望，让他变得急躁和下作起来。《晋书》毫不客气的说他：“岳性轻躁，趋世利。”潘安的母亲经常劝他不要趋附不已，他虽然口头受教，实际上却愈发不知足，始终改不掉。
贾谧因为皇后贾南风的关系，在朝中炙手可热。潘安便极力逢迎贾谧，他和石崇有时在路上等候贾谧，不等人到，一见车队荡起的尘土便对之下拜。后来贾谧主持《晋书》限断。有人建议从司马懿杀曹爽开始算晋朝历史，有人主张从晋武帝篡位开始算。
如果从司马懿时开始算，朝中许多大臣的父祖当年投托司马氏，可以说都是建功立业之臣，在晋朝是要受到照顾的。如果从晋武帝即位开始算，那么功臣范围顶多可以上溯到司马昭弑曹髦时，许多司马懿时的老臣都要排除在外。贾谧此举，有可能是为了打击一些老牌功臣。潘安不论是非，极力赞同贾谧，并为之出谋划策、站台发声，此事又引起许多人的讥讽。
