Theo truyền ngôn, đền được xây dựng từ thế kỉ 16, thờ công chúa Quế Hoa và các vị tiền bối dòng họ Lê Nhữ triều Lê Trung Hưng. Cũng theo truyền ngôn, công chúa Quế Hoa đã từ bỏ cuộc sống cung đình về đây sống với những người dân nghèo; Bà đã bỏ tiền của huy động nhân dân đào kênh đắp đường, trị thủy giúp cải thiện đời sống. Sau khi mất, bà đã hiển linh độ thế giúp dân, bảo vệ đất nước. Sau khi bà mất nhân dân lập đền thờ phụng, 3 lần được vua Thành Thái, Duy Tân và Khải Định phong thần hiệu. Trải qua những biến cố thăng trầm lịch sử, đền bị xuống cấp nghiêm trọng nhưng người dân và con cháu dòng họ Lê Nhữ đã phục dựng và duy trì như ngày nay.