五台山的五爷庙面积不大，占地只有两千多平方米，主要建筑有四座，它们是五爷庙、万佛阁也叫万佛殿、文殊殿和古戏台。就因为有了五爷庙，这里成了五台山香火最为旺盛的寺庙之一。后来，当地的老百姓也习惯把万佛阁叫做五爷庙了。
五爷庙的后面是文殊殿，五台山作为文殊菩萨的道场，几乎每座庙宇里都有专门供奉文殊菩萨的文殊殿，但在这里文殊殿却没有五爷庙的香火旺盛。这也看得出当地人更喜欢本土化俗神的崇拜，可是文殊菩萨在当地人目心中的正统地位，也不会有丝毫的减弱。
在五爷庙中坐东向西两檐三顶的建筑是万佛阁，也叫万佛殿。它分上下两层，在五台山众多的建筑中别具风格。在万佛阁的下层，当中供奉的是毗卢遮那佛。在佛教密宗里，把他称为大日如来，作为最高的崇奉对象，他也就是释迦牟尼佛的法身佛。
二层殿内，正中供的是中国佛教四大菩萨之一的地藏菩萨，他被称为大愿地藏。老百姓对地藏菩萨的信仰，在民间也流行很广。因为地藏菩萨普度众生，而他的大愿也正所谓是：众生度尽，方证菩提，地狱未空，誓不成佛。
一般佛教寺院是不供龙王的，但很久以前，五台山地区并不是清凉胜境，而是酷热难熬，当地百姓深受其苦，专门为人排忧解难的大智文殊菩萨便从东海龙王那里巧妙地借来一块清凉石，从此五台山变得凉爽宜人风调雨顺，成为避暑胜地。
而这清凉宝石原本是龙王的五个儿子播云布雨回来驱暑歇凉之物，当他们发现歇凉宝石被文殊菩萨带到五台山后，便尾随而来大闹五台山，直把五座陡峭如剑的山峰削成五座平台，要讨回清凉石。
不过文殊菩萨很快就降服了他们，让他们分别住在五座台顶。五龙王被安排在最高的北台，专管五台山的耕云播雨。人们感激他为五台山地区造福，就为他建造了庙宇。
