当事人先向相应的行政部门提交申请，申请减免行政处罚，然后由行政部门审查，符合减免条件的，行政部门会下发行政处罚减免通知书，减免当事人的行政处罚。
当事人有下列情形之一的，应当依法从轻或者减轻行政处罚：
（一）主动消除或者减轻违法行为危害后果的；
（二）受他人胁迫有违法行为的；
（三）配合行政机关查处违法行为有立功表现的。
根据《行政处罚法》第4章，第二十七条。
第二十七条当事人有下列情形之一的，应当依法从轻或者减轻行政处罚：
（一）主动消除或者减轻违法行为危害后果的；
（二）受他人胁迫有违法行为的；
（三）配合行政机关查处违法行为有立功表现的；
（四）其他依法从轻或者减轻行政处罚的。
违法行为轻微并及时纠正，没有造成危害后果的，不予行政处罚。
在申辩的时候，行政复议的时候或者行政诉讼的时候都可以提出。
延伸阅读：
