Di tích Từ đường họ Ngô Văn được xây dựng trên một khu đất nhỏ thuộc tổ dân phố số 1, phường Mỹ Độ. Di tích nằm cách trung tâm thành phố khoảng 1km về phía Tây Nam. Đây là một công trình văn hóa tín ngưỡng, nơi tôn thờ và tưởng niệm thủy tổ dòng họ là cụ Nguyễn Công Hãng (1680 - 1732), sau vì tránh nạn mà đổi từ họ Nguyễn thành họ Ngô. Cụ là danh nhân lịch sử sống dưới thời vua Lê Hy Tông (cuối thế kỷ XVII) vì có công được triều đình phong chức Thượng thư Bộ Lại kiêm Đại đô Ngự sử, trông coi sổ sách của triều đình và dậy học cho các con cháu của vua chúa trong triều.

Tương truyền, di tích được khởi dựng từ thời Lê Trung Hưng (cuối thế kỷ XVIII). Qua nhiều lần bị tàn phá, được hưng công xây dựng lại, đến nay di tích vẫn lưu giữ lại được một số kết cấu hạng mục, hiện vật, đồ thờ có niên đại thời Nguyễn (cuối thế kỷ XIX, đầu thế kỷ XX), đặc biệt là hai tấm bia đá có niên hiệu Thành Thái thứ 16 (1904), ngoài ra còn một số tài liệu như gia phả, văn tế...

Từ đường họ Ngô Văn được xếp hạng là di tích lịch sử - văn hóa cấp tỉnh tại Quyết định số 2002/QĐ-UBND, ngày 17/12/2012.