夏商时期,市境属徐州。公元前21世纪,助禹治水有功而成为商部落首领契的孙子,商汤十一世祖相土为进一步向东扩张,由商丘迁徙至此,作为别都,此后山即为相山、城即为相城。商汤伐桀,灭夏建商,相城仍属徐州所辖。周武王伐纣更商分封诸侯,以纣王兄微子启代殷,立国号宋,相属宋。公元前588年至前576年期间,宋共公瑕为避水患,曾将国都由睢阳(今商丘)迁至相城。战国时期(前286年),齐、楚、魏灭宋,相归楚国。秦始皇二十二年(前225年)在相城和今临涣镇分设相县、铚县,同属泗水郡,相城为郡治所在地。
汉高祖四年(前203年)改泗水郡为沛郡,郡治仍在相城。元狩六年(前117年),在今北山乡梧南、梧北村西山河西设梧县,属沛郡,改梧县为吾治。地节元年(前69年),梧县改属彭城郡,后改属楚国。王莽篡汉后,尽易天下郡县名,改相县为吾符亭,沛郡改为吾符郡。东汉建武二十年(44年)改沛郡为沛国,国都仍在相城。梧县先后改属楚国、彭城郡国。三国时,相城属魏,相县和铚县先后属汝阴郡,归豫州。梧县仍属彭城郡国。
西晋太康二年(281年),复置沛国,建都相县。东晋皇室南渡,相县先后归赵、前燕,归属屡有更易。梧县先后属后赵、前燕、前秦的彭城郡。太元八年(384年),梧县无恢复。南北朝时,相县先后归属宋、北魏、北齐,属徐州沛郡。北齐天保七年(556年),废相县为相城乡,属符离县,铚县归梁时改为临涣县,北魏时改为涣北县,北齐时复称临涣县。
唐朝,市境分属徐州之萧县,宿州之符离县、临涣县、蕲县。相地渐趋衰落,成为边远闭塞之地相城孜。
五代时,隶属与唐代略同。
北宋元丰五年(1082年),本地分属宿州之符离县、临涣县、蕲县,徐州之萧县。南宋时,长淮以北沦为金地,本地分属宿州之符离、临涣、蕲县,徐州之萧县。
元初,本地分属徐州之萧县,宿州之符离县、临涣县、蕲县。至元二年(1265年),本地分属徐州之萧县和宿州领辖。直至明清。
民国元年(1912年),市境分属安徽省宿县和江苏省萧县。
1948年11月,市境解放。1949年6月,市境分属华东局皖北行政公署宿县和萧县。1953年2月,市境分属濉溪县和萧县。
1958年5月,淮北煤矿筹备处成立。1960年4月,建立濉溪市。1971年1月,设立相山区。1971年4月,更名淮北市。1977年2月,宿县地区所辖濉溪县划归淮北市管辖。1980年3月,设立杜集区、烈山区。截至2015年年底,淮北市辖相山区、杜集区、烈山区和濉溪县。