为什么叫汉白玉呢，从古到今人们众说纷纭，莫衷一是。比较有代表性的两种说法是，
其一，汉白玉是一种名贵的建筑材料，它洁白无瑕，质地坚实而又细腻，非常容易雕刻，古往今来的名贵建筑多采用它作原料。据传，我国从汉代起就用这种宛若美玉的材料修筑宫殿，装饰庙宇，雕刻佛像，点缀堂室。因为是从汉代开始用这种洁白无瑕的美玉来做建筑材料的，人们就顺口说成了汉白玉。
其二，在我国的新疆和田地区，有一种非常好的建筑装饰村料，它大多呈卵石状。由于这种洁白如雪的白石产在河床中，呈半透明状态。还带有晶莹剔透的水色，人们就把这种白石称为水白玉。无独有偶，在北京市的房山区，特别是在南尚乐的石窝村、高庄一带，也发现一种极好的建筑雕刻石料，而且形状、磨光性、透光性都非常好，几乎与水白玉一样，它的颜色也是白而清润，质地纯而细密，因为产于北京酉郊的山区，相对于产在河床中的水白玉来说，它就成了名副其实的“旱白玉”了。由于汉白玉的产地距我国历朝首都和古城北京的距离，都比水白玉近得多，因此在皇宫和各种神庙殿堂的装饰建筑中，逐渐取代了水白玉的地位；成了中原大地建筑材料的主宰。后来，由于长时间的流传，人们在传诵中就把旱白玉的“旱”字误传成了汉朝的“汉”，成为今天的汉白玉名称。
