Kẻ Sở là một xứ đạo lâu đời, đông đúc, trù phú ở trung tâm vùng Sơn Nam. Phần trung tâm của giáo xứ bao gồm trọn vẹn phần đất của hai làng Sở và Kiện, vì vậy còn gọi là giáo xứ Sở Kiện.
Từ những năm 1858 đến 1892, Kẻ Sở trở thành thủ phủ của GP Tây Đàng Ngoài. Sở Kiện nằm bên bờ sông Đáy và cạnh vùng núi đá vôi bao la, cho nên rất thuận tiện cho việc giao lưu cũng như cho việc trốn tránh của người Công giáo trong cuộc bắt đạo. Điều này khiến Sở Kiện vừa là nơi bị bách hại dữ dội, vừa là nơi lưu giữ được nhiều chứng tích tử đạo. Ngày nay tại đây còn lưu giữ 71 bộ hài cốt của các đấng tử đạo và nhiều di vật như gươm, gông, cùm, xiềng, v.v.
Năm 2008, Đức Tổng Giám Mục Giuse Ngô Quang Kiệt đã nâng giáo xứ Kẻ Sở thành Đền kính các Thánh Tử Đạo của Tổng GP. Tại đây TGP cũng đang xây dựng ngôi nhà truyền thống nhằm lưu giữ và trưng bày các thánh tích liên quan đến các đấng tử đạo. Dự định sẽ khánh thánh trước ngày khai mạc Năm Thánh 2010.