如果货主不给运费而司机把货物拉走，这实际上是一种违法行为。司法程序可能会被启动，此举可能会导致司机被罚款或逮捕，或者货主可以通过法律途径起诉司机。货物也可能面临没收和损坏的风险，影响双方的业务关系。

因此，货主和承运人之间的关系应该建立在信任、合作和合同履行的基础上，以避免可能产生的法律后果和业务上的损失。