最早记录我国东北长白山的史籍是战国和西汉初成书的地理书《山海经•大荒北经》。书中称：“东北海之外，……大荒之中有山名曰不咸，有肃慎氏之国。”肃慎是东北的古老民族，活动在今延边和绥芬河一带。《后汉书•东夷传》和《晋书•四夷传》皆有“肃慎氏一名挹娄，在不咸山北”的记载。
晋代以前长白山一直名称不咸山，后魏又称“徒太山”、“太皇山”。
《魏书•勿吉传》载：“勿吉国南有从太山者，华言太皇，俗甚敬畏之。”到了唐代，又改称为“太白山”，《新唐书》载：粟末部“居最南，抵太白山，亦曰徒太山”。
长白山之名始于金代，而且一直沿用至今。《金史•世纪》载：“生女真地有混同江、长白山，混同江亦号黑龙江，所谓白山、黑水是也。”金代统治者认为“长白山在兴王之地，礼合尊崇议封爵，建庙宇”。因此，在大定十二年（公元1172年）十二月，封长白山为“兴国灵应王，即其山北地建庙宇”。
大定十五年三月，奏定封册仪物，每逢春秋二季，择日致祭。明昌四年（公元1193年）十月，复册为开天弘圣帝。
到了清代，满族统治天下，长白山在满语里叫“果勒敏（长）珊延（白）阿林（山）”。清朝以长白山为发祥地，康熙十六年（公元1677年），特命大臣觉罗武木纳前往长白山拜谒，回京奏疏，议封长白山神，每年遣使致祭。康熙二十一年（公元1682年），康熙皇帝东巡到吉林时，在松花江畔举行了隆重的望祭长白山活动。清朝几百年间，将长白山列为封禁之地。