古来将相本无种
曾祖史诏生五个儿子，依次为师仲（祖父）、师才、师木、师禾、师光。五子都读书，祖父师仲屡试不中，就在家不去应试。只有史师才考中进士，绍兴二十三年时官至参知政事，但不到十个月就因与宰相秦桧不和而被罢官回家。
祖父史师仲四十三岁时英年早逝，留下来未出嫁的长女、十九岁的长子史浩（弥远之父）、次子史渊、三子史溥、四子史源、五子史涓。这么一个大家庭全靠史浩在村校教书维持生计。家庭经济困难，以至于史浩赴临安考试的旅费都没有。
史浩二十三岁娶贝氏，四十岁才登进士，五十八岁（孝宗隆兴元年）时拜右丞相。史浩生四子：贝氏于绍兴四年（1134）生子弥大，七年（1137）生子弥 正。贝氏早亡，配周氏于隆兴二年（1164）生弥远，这时史浩年已五十九岁，又配陆氏于乾道二年（1166）生弥坚。弥远的大哥弥大比他大三十岁，二哥弥 正比他大二十七岁，弟弥坚比他小两岁。
史浩是南宋四明史家"一门三宰相"的头一个宰相。虽然他在朝为相的时间仅仅十四个月，但是他的 人缘不错。他喜欢向朝廷推荐人才，如陆游就是他向孝宗推荐并当面赐进士出身的。他由于在相位时间不长，与其他同僚结怨不多，又得高宗的垂爱与孝宗的尊敬， 赏赐超常。他在绍兴当官时能为当地民众做"利民"的好事，受到群众的拥戴，因此成了当地"土地庙"中供奉的"土地公"。俗话说：积德留于子孙。正是史浩这 个"穷秀才"，举进士后成了"皇帝之师尊"，并进一步成了右丞相兼枢密使，进太师，为史家在朝中编织成一张通天的官场关系网，在大臣中享受最高级别的光宗 耀祖、荫补子孙的封建特权，从而为四明史氏的仕途发展开辟了宽阔的道路。