信用社违规放贷责任应由信用社本身承担。根据《中国人民银行法》第二十一条，信用社应当遵守相关法律、法规和规章，严格控制金融风险，妥善处理涉及金融风险的事务，对违反规定的行为依法追究责任。

信用社违规放贷，不仅会造成资金损失，而且还可能引发金融风险，从而影响整个金融系统的稳定。

因此，在违规放贷的情况下，无论是被害者还是金融监管机构，都有权要求信用社负责，并依法承担责任。