Ngày mùng 4 tháng Giêng, nhân dân làng Dinh, xã Cao Xá tổ chức lễ hội truyền thống tại sân chùa. Sau nghi thức dâng hương cầu mong cho quốc thái dân an, mưa thuận gió hòa, mùa màng tươi tốt bội thu là phần hội mừng xuân với các trò chơi dân gian, như: Vật cổ truyền, đánh cờ, chọi gà...
Dinh là làng cổ, hình thành cách đây chừng 5 thế kỷ. Tại đây có đền thờ “Nhất phẩm quận công Dương Hùng Lượng” thời nhà Mạc (1530). Đền thờ đã được nhà nước công nhận và xếp hạng di tích lịch sử văn hóa cấp tỉnh. Vào thế kỷ 16, nhân dân làng Dinh đã đoàn kết một lòng anh dũng chiến đấu đánh tan đội quân cướp bóc của giặc Tàu với trận Ma Màng lịch sử. Cho đến cuối thế kỷ 19 đầu thế kỷ 20, các tướng lĩnh con em làng Dinh, con em họ Dương tiêu biểu như: Đề Hùng, Đề Sử, Cai Cường, Cai Cán, Chỉ Binh đã ra nhập nghĩa quân Hoàng Hoa Thám, đánh giặc Pháp ngót 30 năm trên núi rừng Yên Thế.
Phương Thảo.
