杜袭的曾祖父杜安，祖父杜根，在前代很有名气。东汉末年，天下大乱，杜袭避乱到荆州，刘表按宾客的礼节接待他。同郡人繁钦多次向刘表显示自己的奇才，杜袭告诉他说：“我之所以和您一起来这裹，只是想像龙一样屈身伏在幽深的湖泽中，等待时机像凤一样展翅飞翔
