黄羊水库的水主要来源于天祝藏族自治县内的双龙山、磨脐山、黑沟山一线的山泉水，以及峡门河和哈溪河等主要支干流的水。

这些水流经大小沟岔，最终在凉州区中路乡水峡口处被黄羊水库拦蓄。