视具体情况而定。
如果在行政处罚作出决定前发现该行为涉嫌犯罪，那么是不能进行行政处罚的，及时移送具有刑事案件管辖权的司法机关，等刑事案件处理终结后，再根据情况进行处理。
【法律依据】
《行政处罚法》第二十八条，违法行为构成犯罪，人民法院判处拘役或者有期徒刑时，行政机关已经给予当事人行政拘留的，应当依法折抵相应刑期。
违法行为构成犯罪，人民法院判处罚金时，行政机关已经给予当事人罚款的，应当折抵相应罚金。