更可怕的是，这样的宰相还要面对专门从事“清议”的谏官，这个职位在唐代是向宰相负责的，但是在宋代则向皇帝直接负责。他们讲错话也要被免职，但是一般来说，免职之后声望却会更高，反而更有升迁的机会。所以他们会老是和宰相唱反调――否则怎么叫谏官呢？这是一个只对政府发空论而不负责的反对机关，虽然它未必不好，但是却让政府总有掣肘。
试想一个宰相和政府一面要对付皇帝，一面要对付谏官，又如何得以施展拳脚？而比起相权衰落和武将不能作为，宋代的地方行政就更为糟糕了。五代十国时地方官员全为武将，宋初赵匡胤杯酒释兵权之后，武将不再带兵，自然也交出了地方管理权。
这样一来，曾经的军阀只有一个名号，享受朝廷的俸禄，好比说江浙节度使，其官还在，但是派去的却是另外一位文官了。然而这位文官却另外有一个中央政府官员的头衔，只是暂去管江浙的事。所以严格来说，宋代根本没有地方官，只是由中央政府的官员暂时来管理。
即便是这样的地方官，也还要面对比唐代多出三倍的上司，既帅、漕、宪、仓四使，并且地方上的收入还需全部上交中央。因此说宋朝要的是控制，皇权的极端控制，而这种体制下，资源难以得到很好的管理，也不能让这个帝国组织的成员拥有相对等的责权利，从而整个组织体系也无法有效地运作。所以宋朝失去的是整个朝代的振兴的机会，尽管它拥有当时全世界最富裕的国度，最灿烂的文化。
赵昺清楚的知道了宋朝体制的弊端，却也给自己带来了极大的困扰，因为他是皇帝，整个制度都是用来维护他的利益，若是进行改革损害的将是自己的利益。而若是维持现状，又难以保证政令的通行，改变人浮于事的弊端，这对于当前和以后持续不断的战争是十分不利的。
而赵昺也知道中国官场有个传统，就是‘一抓就死，一放就乱’，权力下放后便会被用的淋漓尽致，而在自己地位尚不甚稳固的时候，难免不会再出一位贾似道、史弥远这样的权相。另外就是权力这东西太迷人了，一旦得到便不想再放弃，这也包括他在内……