行政机关应该重视的证据收集规则包括全面、客观、公正地调查，收集有关证据。
第三十六条 除本法第三十三条规定的可以当场作出的行政处罚外，行政机关发现公民、法人或者其他组织有依法应当给予行政处罚的行为的，必须全面、客观、公正地调查，收集有关证据;必要时，依照法律、法规的规定，可以进行检查。
第三十七条 行政机关在调查或者进行检查时，执法人员不得少于两人，并应当向当事人或者有关人员出示证件。当事人或者有关人员应当如实回答询问，并协助调查或者检查，不得阻挠。询问或者检查应当制作笔录。
行政机关在收集证据时，可以采取抽样取证的方法;在证据可能灭失或者以后难以取得的情况下，经行政机关负责人批准，可以先行登记保存，并应当在七日内及时作出处理决定，在此期间，当事人或者有关人员不得销毁或者转移证据。
执法人员与当事人有直接利害关系的，应当回避。
会留有行政处罚记录，行政处罚的处罚记录，当地公安机关都会将相关档案、信息进行保存的。但记录不是对任何人都开放的，只有司法机关或者律师在办理刑事案件时，报请有权机关审批后，记录才对外提供。不对普通单位或个人提供查询业务。违法记录对当事人今后生活影响不大，犯罪记录对当事人及子女就会有所影响。
行政处罚是指行政主体依照法定职权和程序对违反行政法规范，尚未构成犯罪的相对人给予行政制裁的具体行政行为。行政处罚特征是:实施行政处罚的主体是作为行政主体的行政机关和法律法规授权的组织;行政处罚的对象是实施了违反行政法律规范行为的公民、法人或其他组织;行政处罚的性质是一种以惩戒违法为目的、具有制裁性的具体行政行为。
行政处罚是不会留下案底的，行政处罚只会留下违法的记录，对于本人没有太大的影响的。只有犯罪了之后才会留下案底的，是属于刑事案件的范畴了。
延伸阅读：
有些公民做出的违法行为在实际上虽然仍然只...
当事人有下列情形之一的，应当依法从轻或者...
1、立案。立案是初步调查程序和正式调查程...
