因为有了数，几何学才有了点，有了点才有线、面和立体，有了立体才有了火、气、水、土这四种元素，从而构成万物，所以数在物之先。自然界的一切现象和规律都是由数决定的，都必须服从“数的和谐”，即服从数的关系。
毕达哥拉斯从五个苹果、五个手指等事物中抽象出了“五”这个数。这在今天看来很平常的事，但在当时的哲学和实用数学界，却算是一个巨大的进步。在实用数学方面，它使得算术成为可能。在哲学方面，这个发现促使人们相信数是构成实物世界的基础。
毕达哥拉斯曾旅居埃及，后来又到各地漫游，很可能还去过印度。在他的游历生活中，受到当地文化的影响，了解了许多神秘的宗教仪式，还熟悉了它们与数的知识及几何规则之间的联系。
有一次，毕达哥拉斯应邀参加一位政要的餐会。这位主人豪华如宫殿般的餐厅铺着一层正方形美丽的大理石地砖。由于大餐迟迟不上桌，饥肠辘辘的贵宾颇有怨言。而这位善于观察和理解的哲学家却在凝视脚下这些排列规则、美丽的方形地砖。
当然，毕达哥拉斯不只是欣赏地砖的美丽，而是想到它们和“数”之间的关系。于是他拿了画笔，蹲在地板上，选了一块地砖，以它的对角线为边画一个正方形，他发现这个正方形面积恰好等于两块地砖的面积和。他很好奇，于是再以两块瓷砖拼成的矩形的对角线为边画另一个正方形，他发现这个正方形的面积等于五块地砖的面积，也就是以两股为边作正方形面积之和。