衡水一词始见于北魏文成帝拓跋浚的《文成帝南巡碑》，文成帝曾在信都（今冀州市）衡水之滨举行过规模盛大的禊礼。衡水之滨中的衡水，为当时穿越今冀州市境内的漳水后一段的别称，又名横漳或衡漳。隋朝开皇十六年，由河北大使郎蔚之，分下博（包括桃园、北马庄等原桃县治所周围的土地和村庄）、信都和武邑三县地，新置衡水县，治所在今衡水市旧城村，县之名称，取漳水横流之意。因漳水从衡水县西南入境后，不是东流入海，而是折向北流，然后入海，古人亦把这一段漳河水称为衡水，此后，衡水县名称历代沿用。