杨广自西域归来后，下令西域及其他各国商人可以直接来洛阳进行贸易，一时间黄头发蓝眼睛白皮肤和黑皮肤的人充斥洛阳，洛阳呈现出前所未有的繁荣景象。

    610年正月，元宵节一过，杨广便发布诏令，在洛阳举行为期一个月的盛大欢迎仪式，欢迎各国使节、商人来洛阳，并在所有树上过上绸缎，以示大隋国力强盛。同时命令所有商人都必须盛装卖货，洛阳所有饭店、客栈都必须免费招待各国商人，费用店家自理。

    听闻这个命令，洛阳经营饭店、客栈的老板傻眼了，很多门阀世家的店铺纷纷找理由关门谢客。

    于是杨广又下令，凡敢不开门者店主徒千里，店铺没收充公，其他门店必须搭戏台唱大戏，又全天下召集乐师万人，每天不停演奏。这下子门阀对杨广的所作所为不满到了极致，民怨四起。

    这还不算完，欢迎仪式结束之后，杨广又下达了一个更加让人目瞪口呆的命令，西北各州要无条件的援助西域各国，西域各国没有的要给，有的也要给，一下子将本就不富裕的西北各州百姓盘剥的民不聊生。

    同年杨广再次巡幸江都，同样的二千多艘船、八万多纤夫，十几万兵马随护，同时下令两岸百里内百姓箪食壶浆相迎，提前征收五年赋税，以便于供他享乐。

    611年初，杨广自江都返回洛阳，又调集一百多万大军讨伐高句丽，因为高句丽国王高元答应的两倍岁贡给了一年又不给了，这让杨广如何受得了。于是一边调集军队，一边为了运粮方便，他又命人开挖洛阳到涿州的运河永济渠，又征调民夫一百多万。

    同时命令山东建造三百艘大船、河南建造五万辆牛马大车，征集民夫六十万运送粮食，最后青年老壮没有了，便开始征集妇女服徭役。

    如此天下三分之二人口在工地，田地荒芜，天下百姓实在不堪忍受。

    同年秋天，黄河泛滥，河南、安徽、山东三十多个郡县被淹，天地颗粒无收，百姓四处逃荒，饿殍遍野。同年十月，砥柱山崩塌，堵塞黄河河道，河水倒流，又淹没了关中平原广大地区。

    即便如此，杨广不思救灾，继续发兵征讨高句丽。

    山东王薄一首《无向辽东浪死歌》：长白山前知世郎，纯着红罗锦背裆。。。譬如辽东死，斩头何所伤。之后王薄带领百姓揭竿而起，吹响了亡隋集结号。

    河北窦建德、瓦岗翟让、济阳的王伯当等人纷纷起兵响应，一时间整个华中地区义军四起，纷纷脱离朝廷。

    杨广一面派皇叔杨林带领大军镇压各路义军，一边于612年亲率大军开始了第一次征讨高句丽。

    由于隋军精锐都被杨广调走，杨林带领的官军远弱于义军，因此义军控制范围越来越广，起义队伍越来越大。

    同年九月，因杨广指挥不当，在损失三十万军队之后撤回了洛阳，回洛阳不久，杨广再次下令征兵天下，准备第二次讨伐高句丽。

    一时间，大江南北义军四起，辽东杜彦冰、王润，山东李德逸、韩进洛，灵武人白榆，余杭杜伏威等人纷纷起义，再加上早已造反的河北窦建德、瓦岗翟让等，大隋江山遍地开花，乱成了一锅粥。十八路反王、六十四路烟尘自此开始成为了历史主角。

    宰相苏威等人劝说杨广，攘外必先安内，在贬谪了几个大臣之后，再无人敢上书言事，同时被贬出京的还有萧瑀，去崇州做了太守，临行前写信向高不二问计，高不二让他练兵、坚守、待变。

    杨广为了平叛，命令各地太守、刺史李渊、杨玄感、王世充、宇文化及等等就地练兵平叛，李世民也被放回太原，协助李渊平定陇西之乱。

    在杭州的高不二也收到杨广御令，命他带兵讨伐不臣，高不二从西北调来五千兵马，加上他在杭州自练的七八千人，组成了一万三千人的队伍，开始参与平叛。同时秘密将庄子上人员转移到了海外他占领的海岛上，以避战祸，但是三位夫人却留了下来。