傳說佛祖釋迦牟尼得道之后，駕著祥云來到中國的一個小山村，正逢一戶姓張的人家剛剛生了一個小男孩。那小孩張口一哭，竟聲如雷鳴；手腳一動，居然將胖大的接生婆彈了一個四仰八叉。如來驚訝之余，吹了一口氣，地面旋即刮起一股狂風，把小孩的母親收去，僅留下一紙，上寫一偈云：

失母莫悲哀，

哺兒有牛奶。

兒大欲尋母，

西天見如來。

于是，這戶人家便每天用牛奶精心喂養嬰兒。轉眼間小孩長大成人，生得魁梧粗壯，力大無窮，聞名遐邇，人皆稱異。因他排行第三，且是喝牛奶長大，人們便叫他“牛奶張三”。這天，牛奶張三忽然觸動一樁心事，扯住父親，苦討生身之母。父親見他已經長大，便把當年變故原原本本告訴了他。他當即打點行裝，告辭全家，毅然登上了西行之路。

當時正值盛夏，驕陽似火，酷熱難當。牛奶張三路經一片田野，看見田間一個鋤地的小伙子，因無斗笠，曬得難耐，便隨手拔下路旁一株碗口粗的柳樹插在腰間遮涼。牛奶張三暗暗稱奇，便上前搭話，方知這小伙子原來父母早亡，從小無名無姓，平時靠為人幫傭過活。牛奶張三便口稱“腰別柳大哥”，贊嘆他力大過人，他卻羞澀地答道：“我差遠啦，聽說有個牛奶張三，那才是天生神力呢！可惜我無緣拜識。”

牛奶張三又驚又喜，遂自報家門，并講述了自己西行的原委。腰別柳聽罷，把鋤頭一擲，慨然說：“張大哥如不嫌棄，我愿隨你一塊兒去找那如來佛！”

兩人相偕向西走了一段時日，進入一片草原，正感到口干舌燥，遇見一個放羊的小伙子，便上前討水喝。小伙子笑道：“水我倒沒帶著，但我可以給你們馬上打一口井。”說著，捋起袖子，猛一拳把大地杵了一個深洞，清清的地下水立刻泛了上來。牛奶張三和腰別柳暗自驚喜，不禁有意結識。經過一番交談，他們得知這個小伙子也是父母見背，無名無姓，靠給人家放羊度日。牛奶張三便稱他為“拳打井大哥”，連聲稱贊他力大超群，他卻不好意思地說：“我差多啦，聽說有個牛奶張三，那才是大力士呢！”

站在一邊的腰別柳忍不住插言道：“牛奶張三遠在天邊，近在眼前，這位大哥便是。”腰別柳講了他們兩人的相識和西行的緣由。拳打井一聽，把牧羊鞭一折兩斷，決然說道：“我也愿跟張大哥同去西天！”于是，牛奶張三又多了一個西行的伙伴。

他們不停地走了數日，一座高山擋住了去路。三人正在山前犯愁，來了一個年輕的樵夫，看他們這般模樣，便問：“你們是不是想過去，卻因沒有路犯愁？”三人連說：“是啊，是啊！這可怎么辦？”那樵夫說：“那我就給你們開條路吧！”說話間，伸出兩只大手，摳住山根，“嘿”一聲吼，竟把那座山掀得翻了一個個兒。三人一齊吃了一驚，不覺脫口稱贊：“好大的力氣啊！”那樵夫卻謙遜地說：“哪里，哪里。聽說有個牛奶張三，膂力過人，我是仰慕已久了。”

三人不由得會心一笑，便與對方攀談起來。原來這個樵夫也是自小無依無靠，沒名沒姓，靠打柴為生。當他問明了牛奶張三他們的事由，便斷然說：“我也要跟你們一同去找那如來佛！”牛奶張三大喜過望，稱他為“扳倒山大哥”，并提議道：“咱們四人萍水相逢，互相傾慕，索性結拜為兄弟，有福同享，有難同當，不知諸位意下如何？”腰別柳、拳打井和扳倒山齊聲稱好。正好不遠處有一座山神廟，他們便走過去撮土為香，序齒跪拜。

正在這時，忽然從廟后走出一個白胡子老頭，指著四人揶揄道：“你們自是力大，要去找如來討母，殊不知那如來佛神通廣大，法力無邊，只怕你們奈何不得他呢！”四個人被激得暴跳如雷，哇哇直叫。白胡子老頭微微一笑，說：“你們既然不服氣，咱們就打個賭吧。我坐上你們的肩頭，你們如能扛起我來，我老漢便為你們引路尋找如來；倘若你們扛不起我，那就聽從我的調撥。怎么樣？”

四個人哪里把這個又矮又瘦的老人放在眼里，立刻蹲下身，讓白胡子老頭坐在他們肩上。可沒料想，他們使盡了吃奶的力氣，硬是扛不起那老頭來，而且愈用力肩上愈沉重，最后個個被壓癱在地上了。

那白胡子老頭哈哈大笑，終于顯了本相，原來他就是西天如來佛。眾人人這才相信了佛法的高深博大，甘愿皈依佛門。佛祖命接引菩薩把牛奶張三的父母都接到西天極樂世界享福，一家團聚。牛奶張三、腰別柳、拳打井、扳倒山都做了佛祖的近身侍從，成為有名的四大金剛。