正山小种茶含有咖啡因和茶多酚等成分，适量饮用对人体有益，但以下人群应谨慎饮用或避免饮用：

1. 孕妇和哺乳期妇女：咖啡因可通过胎盘和母乳传输给胎儿和婴儿，对其神经系统发育可能产生影响，应避免饮用。

2. 心脏病患者：咖啡因可增加心脏负担，加重心脏病症状，因此心脏病患者应限制饮用。

3. 高血压患者：咖啡因可导致血压升高，使高血压患者病情加重，应避免饮用。

4. 骨质疏松患者：茶多酚会影响人体对钙的吸收和利用，因此骨质疏松患者应限制饮用。

5. 消化系统疾病患者：咖啡因和茶多酚会刺激胃肠道，加重消化系统疾病症状，应谨慎饮用。

6. 夜间易醒者：咖啡因会刺激神经系统，使人兴奋，影响睡眠质量，易导致夜间易醒，应避免晚上饮用。

总之，对于以上人群，尤其是孕妇和儿童，应该避免饮用正山小种茶或限量饮用。同时，对于所有人来说，过量饮用任何茶叶都可能产生副作用，因此应该适量饮用。