工厂如果夜间扰民的话可以向环境保护部门进行举报，也可以向城市执法部门举报，这样就可以制止工厂夜间扰民的问题了。