早在舊石器時代晚期就有古人類勞動、生息、繁衍在黑龍江流域這片廣袤的土地上。
前16世紀,居住在今黑河市北部、嫩江流域的東胡、穢貊等族居民,同商王朝有過“東胡黃羆,山戎戎蓀”的貢納關系。
到西周初年,居住在黑龍江中、下游的肅慎族已向周王朝貢。
三國時屬扶余。
唐朝,黑龍江中下游屬黑水靺鞨。725年,唐朝設立黑水都督府,黑水靺鞨之。唐王朝直接任命長史。792 年,唐王朝為加強對室衛人居住地區的統治,又設立都督府。
金朝,屬上京路所轄蒲峪路。元朝屬遼陽行省的開元路和水達達路。為溝通內地與黑龍江流域的聯系,建立了許多"站赤"。
明朝,設立奴兒干都司,女真、契丹均屬之。為了便于管理和聯系,奴爾干都司在東北地區設立衛、所、站、面、寨。黑河大部分地區屬薩哈連地面,亦稱黑龍江地面。
清朝康熙二十三年十月,黑河最早的行政建制是1684 年10月,為了抵抗沙俄侵略者,清政府在黑龍江左舊璦琿城設置了黑龍江衙門(同時設1名將軍和2名副督統,1685年即康熙二十四年,黑龍江將軍衙門遷到黑龍江右新璦琿,即今愛輝區璦琿鎮)。1690年(清康熙二十九年),黑龍江將軍衙門又移駐莫爾根(今嫩江縣城),璦琿副督統留守原城并從屬黑龍江將軍。
民國年間,黑河市大部分地區為黑河道尹公署管轄。1933年1月25日,日本侵略者占領黑河,1934年12月1日,成立偽黑河省。站在黑河看俄布市
1945年8月,黑河解放。11月19日,成立嫩江省黑河地區行政辦事處。11月中旬,成立中共黑河地區中心縣工作委員會。12月14日,嫩江省黑河地區行政辦事處更名為黑龍江省黑河地區行政辦事處。1946年9月7日,黑龍江省政府決定設立黑河地區行政督察專員公署。1947年初,黑龍江、嫩江兩省合并為黑嫩省。1947年2月7日,黑龍江省黑河地區行政督察專員公署改稱為黑嫩省第五行政督察專員公署。1947年9月17日,原黑嫩省第五行政督察專員公署改稱為黑龍江省黑河行政督察專員公署。1950年1月16日,黑河行政區督察專員公署改稱為黑龍江省黑河區專員公署。1955年4月19日,黑河區專員公署改稱為黑龍江省黑河專員公署。1967年4月9日,成立黑河地區革命委員會。1979年2月8日,撤消黑河地區革命委員會, 成立黑龍江省黑河地區行政公署。1993年2月8日國務院決定撤消黑河地區,設立黑河市(地級市)至今。