结婚时男方给的彩礼钱离婚时一般情况下是归女方，但是如果夫妻没有共同生活或是男方因为给彩礼而导致生活困难的，就需要退还。不予返还彩礼的情况：
1、已经登记结婚并同居生活的。
2、男女双方未办理结婚登记手续而同居生活时间较长的，一般应当以两年以上。
3、男女双方未办理结婚登记手续而同居生活期间生育子女的。
4、男女双方未办理结婚登记手续而同居生活，所接受的彩礼确已用于共同生活的。
5、在婚约存续期间，婚约当事人死亡的。
【法律依据】
《最高人民法院关于适用婚姻家庭编的解释(一)》第五条，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
(一)双方未办理结婚登记手续;
(二)双方办理结婚登记手续但确未共同生活;
(三)婚前给付并导致给付人生活困难。
适用前款第二项、第三项的规定，应当以双方离婚为条件。