五臺山屬太行山系的北端，跨忻州市繁峙縣、代縣、原平市、定襄縣、五臺縣，周五百余里。中心地區臺懷鎮，距五臺縣城78公里、繁峙縣砂河鎮48公里、忻州市150公里、山西省會太原市240公里。由一系列大山和群峰組成。其中五座高峰，山勢雄偉，連綿環抱，方圓達250公里。
五臺山最低處海拔僅624米，最高處海拔達3061.1米，為華北最高峰，有“華北屋脊”之稱。臺頂雄曠，層巒疊嶂，峰嶺交錯，挺拔壯麗，大自然為其造就了許多獨特的景觀。五臺山氣候寒冷，又被稱作“清涼山”。
五臺山奇峰靈崖隨處皆是，著名者達五十余處。其中寫字崖，用水灑濕以后，拿手帕仔細拭擦，崖面會顯示出類似篆隸體字跡，水干字隱。有人曾除去表皮石層，結果下層仍能擦出字來。層層有字，字字不同。據載曾發現過“天之三寶日月星，地之三寶水火風，人之三寶精氣神”的聯句。平均海拔1100米以上，最高點北臺葉斗峰海拔3061.1米，被稱為“華北屋脊”。五臺山方圓約320公里，因五峰如五根擎天巨柱拔地而起、 巍然矗立，峰頂平坦如臺，故名五臺，五臺山群山環抱，中心起大突，可謂風水上佳。
五臺山由古老結晶巖構成，北部切割深峻，五峰聳立，峰頂平坦如臺，故稱五臺︰東臺望海峰、西臺掛月峰、南臺錦繡峰、北臺葉斗峰、中臺翠巖峰。五峰之外稱臺外，五峰之內稱臺內，臺內以臺懷鎮為中心。
五臺山實際上是指五臺縣的五座相互連接環繞、挺拔秀麗的山峰。它們分別是：東臺望海峰、西臺掛月峰、南臺錦繡峰、北臺葉斗峰和中臺翠巖峰。由于五山峰海拔均在3000米以上，因此除了一些虔誠的佛教徒能夠登臨五峰臺頂朝拜文殊菩薩外，很少有人能夠到達五臺。也是由于臺懷鎮寺院群分布在五座山峰之間，因此，人們通常就把到過臺懷鎮視為去過五臺山了。
五臺山原先并不叫五臺山，而是叫紫府山，也稱作五峰山道場。
