要看员工和中介的约定是什么。如果约定是中介介绍员工进入单位上班，那么这个行为已经完成，中介是不需要退回中介费。如果约定保证员工在单位工作多长时间，如果没有达到时间，那么是可以按照约定让中介退钱的。
劳务派遣公司将员工派遣到用工单位后，对于出现何种情况可以被退回，以及是否需要承担违约责任，目前的法律法规还没有相应的规定，这主要依据双方在《劳务派遣协议》中进行的约定。
《劳动合同法》
第六十五条
【劳务派遣中解除劳动合同】被派遣劳动者可以依照本法第三十六条、第三十八条的规定与劳务派遣单位解除劳动合同。 被派遣劳动者有本法第三十九条和第四十条第一项、第二项规定情形的，用工单位可以将劳动者退回劳务派遣单位，劳务派遣单位依照本法有关规定，可以与劳动者解除劳动合同。
延伸阅读：
找中介租房怎么收费
被公司辞退公司怎么赔偿
