贾耽出身于仕宦世家。贾耽从小喜欢读地理书籍，喜爱骑马射猎。青少年时期勤奋读书，博闻强记。天宝十年(751年)，22岁的贾耽以通晓两经登第，从此走上仕途。乾元元年(758年)，贾耽出任贝州临清(今河北清河)县尉。不久，又转任绛州正平(今山西新
