潘石屹是老大，他有三個妹妹一個弟弟。二妹一度送給別人，又要了回來。最小的妹妹因為母親太餓沒有奶水，而送給一戶姓董的人家。當時潘石屹母親唯一的要求是：“誰家有奶羊，就送給誰。”這家姓董的，在八百里秦川的陜西，家里有一頭奶羊。

若干年后，在北京朝外SO－HO，講到激動之處的潘石屹伸手虛指遠處：“天水往東，翻過秦嶺，就是八百里秦川。”那是天水人向往的富裕地區。

離家去讀中專的少年潘石屹預料不到年后的這一天。當時他煩惱的是，沒有一分錢生活費的情況下，如何在中專生活下去。

中專在省城蘭州。潘石屹離家求學，家里一分錢也拿不出來，只給他買了一張上蘭州的火車票。父親潘詩麟送兒子去火車站。當時潘石屹只有歲，因為生活不好，發育慢，長得很瘦小，只有一米五多一點。他背著一床棉被，被子里包著一件棉衣和一條褲子，這就是他帶走的所有家當。潘石屹瘦小的身軀背著棉被。一步一步地挪動，慢慢消失在火車站長長的甬道里。望著兒子的背影，潘詩麟這位中年漢子再也忍不住，蹲在地上啜泣起來。

在潘家始終堅持著的讀書人家的驕傲里，隱約可摸索到這種精氣神的脈絡。潘詩麟家的客廳有兩面墻是書架，書很雜，天文、地理、歷史、中醫、歐洲文學、日本古典文學……都有。潘詩麟平常就待在家里看書、看電視、練書法，再就是下棋。和父親一樣，潘石屹也特別愛讀書，他最喜歡的書是《平凡的世界》，這部書他看了遍。無論主人公孫少平還是孫少安，他們的經歷和他的經歷都特別像。深深激勵并改變著潘石屹。

潘石屹的母親癱瘓后，潘詩麟想盡辦法在農閑的時候掙錢。他利用下雨天，做木椅子賣。買元的木料，做成椅子賣元，可賺元。做椅子得讓潘石屹打下手，幫他畫線。這是潘石屹歲時的事情。一天，他告訴他母親：“人家小孩下雨天都去玩了。只有我爸要我幫著干活。”潘母嚴肅地告訴他：“你現在太小不知道，等你長大就知道了，我們再辛苦，吃的也是干凈的飯，知道你父母的飯是靠自己勞動、靠本事掙來的。”媽媽的意思是說，她不一定能看到潘石屹長大。但是要讓他知道，父母親是正派人，靠勞動吃飯，飯是干凈的。這次過后，潘石屹好像一下子就長大了，懂事了，他再也不抱怨了。每逢下雨天，他就主動把木料搬出來，幫父親做椅子。

潘詩麟說：“在農村，不努力就沒法存活下去。所以，就千方百計地往前走。但是要走正道，從不想歪的、邪的點子。”

貧窮對于，當年的潘石屹，以及他的父母、他的弟弟妹妹來說，意味著困厄、煎熬、羞恥，甚至屈辱。也正是那些貧窮磨練出了這個身家億元的中國富豪。