记忆宫殿类似于自我浅度催眠，让该意识在大脑皮层留下较深的印象以达到记忆的目的。所以，对于一些神经脆弱或有精神类疾病的人并不建议广泛使用。
记忆宫殿缺点之一：按照记忆宫殿的原理，一个人的记忆宫殿越大，能记忆信息的容量就越大，在神探夏洛克中有一个BOSS，他的记忆宫殿远远超过了福尔摩斯，像一座图书馆，将夏洛克吓到了，因为他们都会记忆宫殿，但是从卷福的表演看来，那个BOSS的记忆宫殿之大远远超出了他的预想。但是真实的情况是如何呢？其实庞大的记忆宫殿非常难以建立，因为我们是靠桩子的不同来记忆信息的，这意味着一个越大的记忆宫殿里面不一样的桩子要越多，也就是越到后期越难建设出刚好的记忆宫殿，作为一个初学者，要建立庞大的记忆宫殿费时费力，但是如果有一个导师的话，可以抄袭记忆宫殿导师的宫殿，所以这样就出现了3个月速成记忆宫殿的竞技选手，他们都是在导师的指导下快速建立起来的记忆宫殿，一个自学者建立庞大宫殿要付出速成者N倍的心血，其次是记忆技巧也要走很多弯曲的道路，所以记忆宫殿自学者必须具备常人所不能具备的意志力。其次，记忆宫殿越大的人，虽然他们能快速记忆的信息量越大，同时他们也必须花更多时间去维护，为什么呢？原理是想通的，那些桩子不去熟悉就像生锈的刀，记忆东西也是打折扣的，所以我不建议建立过大记忆宫殿，普通人2000——3000个桩子完全可以用一辈子了。
记忆宫殿缺点之二：当我们在记忆宫殿里安置新图像时，过去的信息如果你不使用技巧就得清除掉，除非已经熟悉到是你的长期记忆。这个原理和电脑硬盘一样，容量是不变的，要放新资料硬盘塞满了就得清掉过去的资料。
记忆宫殿缺点之三：需要经常做记忆训练，记忆宫殿是一门技术，就像打篮球，如果你经常不投篮，那么你的技术就会下降，所以得经常抽空练习，所以记忆宫殿不适合懒汉。
记忆宫殿缺点之四：从入门到中级再到高手，这个过程是需要酝酿的，而不是一上手就能成为高手，这简直不可能，除非天赋异常之人，记忆宫殿融会贯通在老师的指导下少说也得个把月，没有老师的情况下半年到几年不等。
记忆宫殿缺点之五：很多记忆高手通过图像转码技巧快速记忆，会跳过逻辑，因为记忆宫殿就是如此，不管我能不能理解，我都能记住，这样的结果就是很多学员不理解也记住了信息，他们会懒得再去理解，这样应用起来就可能会造成了一个结果：打造了记忆高手，应用低手的学员。