杜甫远祖为汉武帝时期有名的酷吏杜周，祖父杜审言。杜甫与唐代另一大诗人即“小李杜”的杜牧同为晋代大学者、名将杜预之后，不过两支派甚远。祖籍襄阳(今属湖北)，曾祖父杜依艺为巩县令，遂居巩县(今属河南)。杜甫出自杜预次子杜耽，而杜牧出自杜预少子杜尹。杜甫于唐睿宗太极元年正月初一(712年2月12日)生于巩县。母亲崔氏，在杜甫年幼时就故去。崔家也是有名望的世家大族，他一生中曾多次和亲疏不等的舅父、表弟相遇。

杜甫青少年时因家庭环境优越，因此过着较为安定富足的生活。他自小好学，七岁能作诗，“七龄思即壮，开口咏凤凰”，有志于“致君尧舜上，再使风俗淳”。他少年时也很顽皮，“忆年十五心尚孩，健如黄犊走复来。庭前八月梨枣熟，一日上树能千回”。

杜甫少年时期有机会受到各种文化艺术的熏陶，这对他日后的诗歌创作有很大的影响。例如他五六岁时在河南郾城看过舞蹈家公孙大娘的剑器浑脱舞;后在洛阳尚善坊的岐王李范宅里，遵化里玄宗宠臣崔涤堂前，听过李龟年的歌声;在洛阳北邙山顶玄元皇帝庙里欣赏过画圣吴道子画的五圣尊容、千官行列，这在他以后的诗歌创作中都有所反映。当时社会名流崔尚、魏启心看到他习作的词赋，夸奖他有班固、扬雄之风。还有李邕、王翰这样的长辈也屈尊来访问他。