单位以员工被行政拘留为由，与员工解除劳动合同是不可取的。
根据我国《劳动合同法》规定，被依法追究刑事责任的，用人单位可以解除劳动合同。
一、劳动者有下列情形之一的，用人单位可以解除劳动合同：
1、在试用期间被证明不符合录用条件的；
2、严重违反用人单位的规章制度的；
3、严重失职，营私舞弊，给用人单位造成重大损害的；
4、劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；
5、因《劳动合同法》规定的情形致使劳动合同无效的；
6、被依法追究刑事责任的。
二、劳动合同应当具备以下条款：
1、用人单位的名称、住所和法定代表人或者主要负责人；
2、劳动者的姓名、住址和居民身份证或者其他有效身份证件号码；
3、劳动合同期限；
4、工作内容和工作地点；
5、工作时间和休息休假；
6、劳动报酬；
7、社会保险；
8、劳动保护、劳动条件和职业危害防护；
9、法律、法规规定应当纳入劳动合同的其他事项。
【法律依据】
《中华人民共和国劳动合同法》第二条，中华人民共和国境内的企业、个体经济组织、民办非企业单位等组织(以下称用人单位)与劳动者建立劳动关系，订立、履行、变更、解除或者终止劳动合同，适用本法。
国家机关、事业单位、社会团体和与其建立劳动关系的劳动者，订立、履行、变更、解除或者终止劳动合同，依照本法执行。
《中华人民共和国劳动合同法》第三十九条，劳动者有下列情形之一的，用人单位可以解除劳动合同：
(一)在试用期间被证明不符合录用条件的；
(二)严重违反用人单位的规章制度的；
(三)严重失职，营私舞弊，给用人单位造成重大损害的；
(四)劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；
(五)因本法第二十六条第一款第一项规定的情形致使劳动合同无效的；
(六)被依法追究刑事责任的。