根据我所获取的知识，缴纳残保金的单位主要包括以下两类：

企业、事业单位、社会团体、民办非企业单位等各类用人单位都需要缴纳残保金。

未按规定安排残疾人就业的机关、团体、企业、事业单位、民办非企业单位也需要缴纳残疾人就业保障金。

然而，村民委员会、居民委员会、农民专业合作社、农民专业合作社联合社等基层群众性自治组织不属于征收对象，无需缴纳残疾人就业保障金。