水川，十万唐军惨败，尸首相枕，血流成河危难之下，在裴秀的举荐下，选用祖逖为司隶校尉，负责关中战事而张寔却是惊走洛阳，再诏天下兵马讨贼
三王叛军气势大涨之际，诸藩王各怀忤逆之心，以各种理由搪塞兵马召集典型如建安郡王张罕、交趾郡王张玷、沧海郡王张拚、牂柯郡王张高之等，暗中招兵买马，以各种理由侵吞临近郡县
祖逖坐镇关中，用离间计令张铧诛杀张绦，让张荥生疑之下，以并州兵进犯为由，返回云中国失去精锐的云中义从，张铧独臂难支，遂遁走陇右
天寿二十二年（304年），在张寔的支持下，祖逖率精兵五万翻越陇山征讨张铧，刘琨率精兵三万征讨云中王张荥
因天水郡守姜洮拒城不降，令祖逖轻易进入陇右经祖逖长达一年的作战，将张铧驱逐出陇右，率兵远逃至河湟
恰时，张寔驾崩于雒阳，太子张粲在太原继位而叛军见形势不利，内部陷入纷争之中，张铧之弟张檀杀张铧，向张粲乞降；张荥被刘琨击败并斩杀，子张肜上疏求降
张粲急于平定天下，本欲同意张檀、张肜二人请求，但祖逖却上疏反驳，言‘贼寇不亡，则西北动荡；西北不服，西都难平’张粲采纳祖逖之计，下令二将继续征讨
永和元年（305年），祖逖深入西海，诛杀张檀，降服从叛诸夷；刘琨离间从叛鲜卑，破擒张肜，安抚河朔近塞诸胡
三王叛乱虽被镇压，但长达五年的混战，让关西经济凋敝，人口死伤颇多，中央权威受到挑战，唐朝盛世一去不复返
张粲性情宽厚，自诩以撤藩改郡之失为鉴，不断怀柔边藩诸侯，以避免引起新的叛乱且为了安稳叛乱边国，除云中国直属中央，灵武、西平仍由子侄为藩统治然因行事宽和，纵容宰相擅权，虽一定程度上恢复了中央秩序，但未能中兴唐朝
永和十五年（320年），张粲患病垂危，皇后杨氏专权，与其弟杨珧交通内外，树立党羽，借张粲之名改易公卿，任用心腹张粲临终前，担忧杨氏为乱，欲以魏国公祖逖、幽国公刘琨，与杨珧共辅太子
杨珧截藏诏书，欲独领顾命之托，另企图立张粲幼子为帝然中书郎谢裒偷取诏书，私传于祖逖、刘琨二人二人说服太子张亮起兵，出其不意诛杀杨珧，尽灭杨氏一族
同年，张粲驾崩于长安，以大司马祖逖领衔，计相刘琨辅政
在祖逖尽心辅政下，唐朝渐有中兴气象，史称‘大康中兴’其朝野井然，政治可观，拣选良吏，兴修水利，打击豪强，整顿兵事并花费数年检索户籍，大大改善了国家的财政状况
祖逖辅政十年，令天下大有改观中书令谢裒盛赞，‘自天下粗安以来，藩国诸侯多跋扈，凡有所求，朝廷常委曲从之然自祖公辅相以来