一九四九年，伍叔傥去了台湾，后流转东京、香港等地。在日本，他本来受聘于东京大学，但受到一些学生的排斥，生活过得清贫，便又收了些私人弟子，在外教授中国文学。一九五三年初，胡适访日，在东京大学文学院招待会上碰到伍叔傥，约他第二天单独见面。胡适关切地问伍叔傥，是否有意换到其他大学去教书。伍叔傥表示在外国学校教中文没有很大的兴趣。胡适说：“你要怕日本人改汉字，一个人登在这里没有什么用。改也好，不要反对他。”从这次谈了之后，伍叔傥非常佩服胡适的聪明才智：“考据小心，而神明映澈，毫无呆气，确是人才。语言之妙，真如有人夸吴清源下棋，一着顾到几十着。”对胡适的观感也因此与二十年前大不同了。
伍叔傥与胡适最后一次见面是在一九五八年，东京大使馆。那次他们谈了对近代新文艺作家的看法，意见很相近。伍叔傥感叹：“世故深了，距离自然也不至太远。”并承认胡适很多通方之论，丝毫没有冬烘气。
一九六二年二月二十日，胡适在台北去世。伍叔傥即写了《敬悼胡适之先生》，发表在三月出版的《祖国》周刊第三十七卷第十一期上。
先生负天下盛名，四十余年。死之日，几于无疾而终，以温良恭俭让的先生，死得没有什么苦痛，至少，在我感到安慰，同时有点羡慕。
