诈骗案件的中间人不退钱的,由侦查机关对涉案财物进行追缴,追缴后确认属于被害人的,会进行退赔。如果无法追缴的,被害人可以提起民事诉讼,要求诈骗人员赔偿。