鲍尔默虽然出生于一个比较富裕的家庭，但是他的祖父和外祖父那一代的生活还是十分艰辛的。鲍尔默的外祖父是犹太人，他从沙皇部队退役后，在底特律依靠卖汽车的旧零件维持生活，还经常从街上寻找废弃的旧汽车，然后从上面拆下旧零件来卖。虽然工作很辛苦，但是外祖父却十分疼爱鲍尔默这个外孙子，每个月都会给鲍尔默六美元作为犒赏。而鲍尔默很快就会把外祖父给他的六美元偷偷塞给他的母亲。鲍尔默从小就养成了节俭的生活习惯。
鲍尔默的父亲是瑞士人，二战后来到了美国，他和鲍尔默的母亲结婚后把家安在了底特律。鲍尔默的父亲在福特汽车公司从会计做起，后来曾担任福特汽车公司的经理。在儿童时代，鲍尔默深受母亲的宠爱，而父亲对他的管教却十分严格。鲍尔默的父亲一生的遗憾是没有上过大学，所以他希望鲍尔默能实现自己的理想。在鲍尔默八岁的时候，父亲就告诉他今后一定要考上哈佛大学。
在高中的时候鲍尔默就表现出了从不言输的个性，他不但是学校橄榄球队的后卫队员，还是篮球队的经理人。篮球队的教练回忆说，鲍尔默是团队精神的典范，他总能把球队需要的东西放在该放的地方，而且他能使整个队伍都保持非常良好的状态，是他见过的最好的经理人。