东汉末年,因遭逢董卓大乱,来敏跟随姐姐来氏投奔到荆州,来氏的丈夫、来敏的姐夫黄琬是刘璋祖母的侄子,所以刘璋派人迎接来氏,来敏于是随从来氏进入蜀地,常常作刘璋的宾客。来敏涉猎书籍,精通左氏《春秋》,尤其精通《仓颉篇》、《尔雅》的训诂学,喜好校