大迦叶一向是安心修习他的头陀苦行。说起他的修习苦行，直到老年，无论在什么情形之下，或是什么人劝说，他都不肯中断他的苦行。

凡是修习头陀苦行的人，第一要选择空闲的地方，第二要过托钵的生活，第三要常居一处，第四要一日一食，第五要乞食不择贫富，第六要守三衣钵具，第七要常坐树下思惟，第八要常在露地静坐，第九要穿着粪扫衣，第十要住于坟墓之处。修学头陀苦行，就要过如此简单的生活，也是清净的生活。

对于大迦叶这样的人，不去度众生，而喜欢离群独居，过苦行的生活，比较积极的比丘们总不太同情，他利人的悲心可以说值得人敬仰，但他弘法的热情显然是不够。

除了佛陀，与外道辩论、教化僧团中诸比丘的大弟子，就是舍利弗和目犍连二位尊者，大迦叶是当佛陀与二大弟子在世的时期专心修道，期间或对在家的居士说法。当佛陀灭度后，能够代佛陀统理大众的实力，就是在这期间养成的，他如同巨钟一样，沉默的时候就沉默，但一遇到因缘，他就可以发出响亮的洪声。