薏仁茶不适合以下人群饮用：

1. 孕妇和哺乳期妇女：因为薏仁具有一定的药性，长期饮用或过量饮用可能会对胎儿产生不良影响，且会影响母乳质量。

2. 脾胃虚寒者：薏仁茶具有清热利湿的功效，适用于湿热体质者饮用。但是对于脾胃虚寒者，薏仁茶会进一步伤害脾胃，导致胃肠不适。

3. 肝功能异常者：薏仁茶中的营养物质在肝脏代谢后产生一定的毒性物质，如果肝功能不稳定的人饮用过量，则可能对肝脏造成损伤。

4. 发热体弱、体质虚弱者：薏仁茶具有清热作用，适用于湿热体质者饮用。但是对于发热体弱者或体质虚弱者饮用会加重身体负担，导致身体更加虚弱。