此时天下已经出现了动乱的苗头，张衡也忧心忡忡，便想接着这个机会进谏杨广，因此趁机说道：“这几年劳役繁多，百姓疲惫，实在不应该再大兴劳役，还请圣人慎重。”

杨广当时听了便很不高兴，只是碍着面子没有发作。

等到张衡离开后，杨广便连桌案都推翻了，指着张衡离去的方向大声骂道：“你以为你是谁！”

后来便传出天子曾对亲近侍臣言“张衡自以为因为他的计谋，才让我有天下”的话。

再之后，齐王杨暕将伊阙令皇甫诩带到汾阳宫，有人便告发此事便是通过张衡做的。又说以前天子到涿郡以及祭祠恒岳时，那些来谒见的父老乡亲，衣冠大多不整，这是身为御史大夫的张衡没有做好。

杨广趁机发难，怪罪张衡，身为司法官不能检举处理这些问题，让他出京当楼烦太守。

张衡就此被贬出朝廷。

大业五年，杨广又到汾阳宫，张衡正在督促劳役修筑楼烦城，因而拜见杨广。

此时杨广以及对张衡充满了厌恶，他见张衡没有消瘦，竟然觉得是因为张衡没有反思自己的过失，便对张衡说：“你长得很肥，应暂且回到郡里去。”

再之后张衡又被贬为江都宫监，负责修建江都宫。

张衡也回到了十年内他们离开的地方。

正巧有人到张衡那里告监修江都宫的人，张衡不为他处理，却把状纸交给那个监工，这个人吃了监工更大的亏。

礼部尚书杨玄感出使到江都，这个人到杨玄感处喊冤。

杨玄感自然认为张衡的作法不对。到与张衡相见时，杨玄感又没说什么。张衡又先对杨玄感说：“薛道衡真是被冤死的。”杨玄感把这些事都报告给了杨广。

扬州不少官员也上奏张衡频频减少劳役的饭食。

杨广于是发怒，把张衡关起来，送到江都，将要杀他，过了很久才放他，除名为民，放他回老家乡里，只是常令亲信窥探张衡在做些什么。

大业八年，杨广从辽东回到洛阳，张衡的小妾说他心怀怨恨，诽谤朝政，杨广也不知是不是真的恨张衡欲死，竟然赐他在家里自尽。

张衡临死时大声说道：“我为世人作了什么好事，还想久活！”监督行刑的塞耳不敢听，下令杀了他。

······

黄明远絮絮叨叨跟陈远讲他跟张衡的事情，实际上这些年张衡的情况黄明远都知道，只是不想引得天子忌惮，所以对于张衡的贬黜才不发一言。

终究是张衡和杨广不和，在黄明远看来，张衡太耿直了，老死地方，或许也是一种好的交代。

可谁能料到，张衡最终死在了杨广的手上。

若是可能，黄明远真的想在杨广一次次贬黜张衡的时候替恩师求一下情，也使得杨广在痛下杀手的时候能够心生忌惮。