及京城陷,异随临城公萧大连。大连板为司马,委以军事。景将宋子仙济浙江,异奔还乡里。寻以其众降于子仙。大连趣东阳之信安岭,后汉新安县,晋改曰信安,今浙江衢县境。欲之鄱阳,异乃为子仙乡道,令执大连。侯景署异为东阳大守,收其妻子为质。刘神茂拒景,异外同神茂,而密契于景。及神茂败绩,为景所诛,异独获免。侯景平后,王僧辩使异慰劳东阳。仍纠合乡闾,保据岩阻。其徒甚盛,州郡惮焉。元帝以为信安令。荆州陷,王僧辩以异为东阳大守。世祖平定会稽,异虽转输粮馈,而拥擅一郡,威福在己。
大平元年,除缙州刺史,领东阳大守。又以世祖长女丰安公主配异第三子贞臣。永定二年,征异为南徐州刺史。异迁延不就。世祖即位,改授缙州刺史,领东阳大守。异频遣其长史王澌为使入朝,澌每言朝廷虚弱,异信之,虽外示臣节,恒怀两端,与王琳潜通信使。琳又遣使往东阳署守宰[8]。及琳败,世祖遣沈恪代异为郡,实以兵袭之。异出下淮抗御。当在今兰溪县。恪与战,败绩,退还钱唐。异乃表启逊谢。是时众军方事湘、郢,乃降诏书慰喻,且羁縻之。