逾城離家後的太子，隱居山林修行。淨飯王雖是收到太子稟白心意的寶珠，內心猶有擔憂。便命令父族中三人、舅族中兩人跟隨佛陀，這五人便是阿若憍陳如等五人。

 

他們隨護佛陀身邊六年，也同時勤奮修習出離之道，常一起討論：「修道之人是在苦行中證果，還是在安樂中證果？」

 

父族三人認為應在苦行中修道，而舅族兩人則認為應在安樂中求道。舅族兩人看到太子修苦行，僅以極少的麻、米維持生命，認為正道應在安樂中求，太子所奉行的並非真正的修道之法，不能再與他為伍，於是便遠離太子另尋覓他處修行。

 

後來，太子想驗證苦行的錯誤，便接受牧羊女所供養的乳糜，調整身心的狀態。父族三人見到，惋惜地說：「太子的苦行馬上就要成功了，他卻退失道心，六年的苦行，全都前功盡棄了。」

 

於是這三人便去找舅族那兩人，父族說：「太子六年前脫下華服，身處荒谷，堅定修行，以求得無上聖果為期。竟然接受牧羊女的乳糜！損壞道行，違背初衷，他是不會有成就了。」

 

另二人譏笑說：「你們現在才知道太子是什麼樣的人？他身處皇宮，養尊處優，尚不能靜心安坐。放棄轉輪王的王位，跑到山谷來，像個賤人般生活，他有什麼值得讓人掛念？談起來，只是讓人感到悲哀罷了！」