李显的人事安排发到中书令裴炎手里，裴炎毫不犹豫的加以劝阻。
谁知李显竟然放出话来：“我是皇帝，想怎么干就怎么干！韦玄贞是我的老丈人，我就是把天下让给他都行，一个小小的侍中又有什么大不了的？”
李显的一席话把裴炎吓了个魂飞魄散，立刻将此事报告给了太后武则天。
武则天听后大怒，安排裴炎与中书侍郎刘袆之、羽林将军程务挺、张虔勖等人率重兵入宫，当着百官的面宣布太后懿旨，废李显为庐陵王，幽于别所。
第二天，李显的同胞弟弟李旦被按在了皇帝的宝座上，改元文明。
第三天，李显和韦氏年还有仅两岁的嫡长子李重润被废为庶人。
而正在做宰相梦的韦玄贞也没有逃脱噩运，全家被流放至钦州。
第五天，闯下塌天大祸的李显领着韦氏、一群哭哭啼啼的姬妾和年幼的儿女，垂头丧气地离开长安城，在重兵“护送”下，前往流放地均州。
到了均州仅仅过了十几日，武则天又改变主意，下令将李显一行转押至房州。
在房州清苦度日的李显不但平日被人监视，长安城里的特使还经常专程前去察看他的情形。
每当有使臣前来，韦氏总会想起李显的二哥李贤在流放地被赐死的前车之鉴，她觉得心惊肉跳，心中无比恐怖。
更让韦氏难过的是娘家的遭遇。
李显被废黜帝位后，韦氏的父亲韦玄贞被剥夺豫州刺史官职，连同妻子、儿女一起被流放到岭南钦州。
因为受打击太大，韦玄贞到钦州不久就患了瘴气病，终因心力交瘁死去了。
韦后的母亲崔氏当时带着四个儿子和两个女儿，在流放地生活无比艰难。不想祸不单行，当地的蛮族酋长宁承基瞅上韦后的两个妹妹，非让崔氏献出两个女儿给他们做小妾。
崔氏当然不愿意把两个女儿往火坑里推，于是婉言拒绝。
宁承基是地头蛇，当地的官府也对他们无可奈何。于是，在一天夜里，宁承基纠集众人到韦家抢人。
崔氏事先得到一个好心人的通风报信，把两个女儿早早藏在附近一个隐蔽的山洞里。宁氏兄弟来抢人，却不见韦后的两个妹妹，大怒之下，把崔氏和四个儿子全部杀光，烧了他们住的房子，扬长而去。
后来，韦氏的两个妹妹在好心人的帮助下逃离钦州。她们沦为乞丐，历经千辛万苦，才逃回长安。因为身份是流放犯，只有在亲戚家隐藏度日。
在房州的韦氏听到了家人不幸遭遇后，她的心在滴血，痛不欲生却无计可施！
她心中无比后悔：早知是这样的结果，她当初为何不去阻止李显。
可是，这世上哪有卖后悔药的？
事至今日，她依然在为李显的草率和自己的短视而后悔。
可李显当初也是为了她、为了韦家好，她能说什么呢？