自建校以来，历届校领导重视档案收集、保管利用和编研工作。但由于在抗日战争时期，河南大学流亡办学，经历多次搬迁，大多数校史档案散失。新中国成立后，我校领导在校长办公室设专人负责档案管理。
1986年学校根据国家教委和省、市档案局的要求，成立了以申志诚副校长为组长的整理档案领导小组，并分别组织了文书档案、科技档案、教学学生档案、财会档案等4个组，集中人力和时间进行了全面整理、立卷工作。整理工作结束后，分别建立了文书、科技、财会三个类别的档案室。除文书档案室配有1人专职管理外，其他仍由各职能部门兼管。1987年10月，学校在校长办公室下设立“河南大学档案室”（副处级），对全校各类档案进行集中统一管理，并先后为档案室配了3名专职工作人员。
为使档案管理尽快实现标准化、规范化，1989年以来学校先后颁布了《河南大学关于档案保管期限的若干规定》和有关档案管理的一系列规章制度。全校各部门各单位相继配备了兼职档案员48人，初步形成了校、系两级档案材料收集网络，并从1991年起将原来由各党委办公室和校长办公室负责全面收集、整理、立卷的办法，改为由各职能部门各单位兼职档案员或课题组负责收集、立卷，从而保证了档案的完整性和系统性。
1995年，学校根据国家教委1993年11月发布的《高等学校档案实体分类法》和《高等学校档案工作规范》，制订了《河南大学各类档案归档范围和保管期限表》，《河南大学档案管理办法》等规章制度。
1999年以后，学校在档案室的两个库房添加了空调设备，所有的门窗都添加了防护装置，新购置了微机3台，激光打印机1台，使档案室的工作和办公设施初步达到了规范化和现代化。
2001年10月学校成立档案馆（正处级），下设校史馆（副处级）、文书档案室、人事档案室、科技档案室，真正实现了学校档案工作组织机构的正规化。
为积极推进档案管理信息化和现代化进程，2019年9月，档案馆在机构设置方面进行改革。档案馆（正处级），下设校史馆（副处级）、征集指导室、保管利用室、电子化文档中心、综合科。2019年以来，为加快我校档案事业安全建设，档案馆进一步加强安全防护，所有库房都安装监控和门禁卡，部分库房安装了密集架，并增加消防设备，增强了档案库房管理的规范化和现代化。为加强档案信息化建设，2019年更新了档案管理系统，2022年增加了档案管理远程利用服务平台，所有科室增加了办公自动化设备，进一步推进了档案管理信息化和现代化进程。
2023年以来，档案馆努力探索档案事业改革发展的新路径，奋力推进档案管理的规范化和现代化进程。
