人们一般认为，以下人士应该避免或限制饮用铁观音茶：

1. 孕妇：因为茶叶中的咖啡因、茶碱、鞣酸等物质会刺激子宫收缩，可能会引起流产或早产。

2. 婴幼儿：铁观音茶比较浓厚，婴幼儿的消化功能较差，喝茶可能会对他们的胃肠道造成负担。

3. 患有胃病的人：茶叶中的咖啡因和茶碱会刺激胃酸分泌，使胃粘膜受到刺激，并可能导致胃部不适。

4. 外伤患者：铁观音茶内含有含铁物质，而铁离子具有收敛功能，可能阻碍伤口愈合。

5. 长期服用某些药物的人：茶叶中的咖啡因和茶碱会影响药物的代谢和吸收，可能会影响药物的疗效。

总之，喝茶还是要适量，对于一些特殊人群，应该在医生的指导下饮用。