Chùa Tượng Sơn ở làng Yên Hạ, xã Sơn Giang. Được mẹ của đại danh y Hải Thượng Lãn Ông Lê Hữu Trác sáng lập và xây dựng từ thời Hậu Lê (đầu thế kỷ 18).

Khu di tích Hải Thượng Lãn Ông bao gồm: Nhà thờ Lê Hữu Trác thôn Bầu Thượng, xã Sơn Quang; và mộ Lê Hữu Trác ở núi Minh Từ xã Sơn Trung được Bộ Văn hóa - Thông tin xếp hạng Di tích Văn hóa cấp Quốc gia.

Chùa Nhiễu Long (chùa Cao): thị trấn Phố Châu.

Đình Tứ Mỹ ở xã Sơn Châu (Di tích lịch sử- cách mạng thế kỷ 20);

Mộ và nhà thờ danh nhân Nguyễn Lỗi ở xã Sơn Bình (danh nhân lịch sử thế kỷ 15).

Nhà thờ danh tướng Nguyễn Tuấn Thiện ở xã Sơn Ninh (danh nhân lịch sử thế kỷ 15)

Nhà thờ Đại Tôn Họ Nguyễn Khắc ở Xã Sơn Hòa

Nhà thờ danh thần Tống Tất Thắng ở xã Sơn Hòa

Nhà thờ họ Hà Huy(Sơn Thịnh)

Đền Gôi Vị xã Sơn Hòa

Nhà thờ Lê Hữu Tạo ở xã Sơn Lễ (danh nhân lịch sử thế kỷ 18)

Nhà thờ Đào Hữu Ích ở Xã Sơn Bằng, huyện Hương Sơn.

Nhà thờ danh tướng Cao Thắng ở xã Sơn Lễ, huyện Hương Sơn (danh nhân lịch sử thế kỷ 19)

Di tích kiến trúc nghệ thuật Đền Bạch Vân và chùa Thịnh Xá.

Chùa Côn Sơn(Sơn Tiến-Hương Sơn) ngày xưa địa điểm này là nơi cất giấu lương thực, của cải và vũ khí chiến đấu phục vụ nghĩa quân Lam Sơn. Khi đất nước thái bình, Nguyễn Trãi đã cho xây dựng chùa Côn Sơn tại vị trí này như một nghĩa cử đền đáp dành cho nhân dân đã cưu mang giúp đỡ nghĩa quân trong những ngày tháng gian khổ chiến đấu chống quân thù ở mảnh đất này.

Chùa Bục Bục(Sơn Hòa-Hương Sơn):Chùa được vua Lê (Hậu Lê) cho xây dựng để an ủi vong linh các tướng sỹ đã ngã xuống trong chiến dịch đánh quân Minh trên phòng tuyến dãy núi Thiên Nhẫn (gần đó) và cũng là để bày tỏ sự biết ơn của Triều đình với Hoàng hậu Trần Thị Bích Ngọc-Người có công xây dựng An Ấp (nay là xã Sơn Hoà) thành một trang ấp trù phú.

Chùa Đức Mẹ(Sơn Thịnh-Hương Sơn):Chùa Đức Mẹ nổi tiếng ở Sơn Thịnh, Hương Sơn, Hà Tĩnh. Lễ chùa hàng năm vào ngày 3-3 âm lịch.

Nhà thờ Nguyễn Thạc Chí ở xã Sơn An.

Nhà thờ Hồ Đắc Thọ ở xã Sơn Bằng.

Nhà thờ danh tướng Lương Hiển (năm 1784)- Khối 17 - TT Phố châu.

Khu nghỉ mát Nước Sốt ở xã Sơn Kim

Khu du lịch thác Xai Phố với những quang cảnh tự nhiên và thơ mộng Sơn Hồng, phía Tây Bắc Hương sơn

Thành Lục Niên trên dãy núi Thiên Nhận , xã Sơn Thịnh: Nơi Lê Lợi làm căn cứ chống quân xâm lược nhà Minh.

Nguyên là huyện Dương Toại, thuộc quận Cửu Đức.

Đời Tấn Vũ Đế tách lập huyện Phố Dương, nay có 2 làng Phố Châu và Phúc Dương.

Đời Đường là châu Phúc Lộc.

Thời nhà Đinh và nhà Tiền Lê thuộc đất Hoan Châu.

Thời nhà Lý là hương Đỗ Gia thuộc châu Nghệ An.

Thời nhà Trần và thuộc nhà Minh là hai huyện Cổ Đỗ (vùng đất chủ yếu thuộc Hương Sơn ngày nay) và Thổ Hoàng (các vùng đất thuộc hai huyện Hương Khê và Vũ Quang ngày nay)

Thời nhà Hậu Lê ban đầu là huyện Đỗ Gia, từ năm 1469, đời vua Lê Thánh Tông, là huyện Hương Sơn, thuộc phủ Đức Quang, xứ Nghệ An (sau đó là trấn Nghệ An).

Từ năm 1831-1919, là huyện Hương Sơn, phủ Đức Thọ, tỉnh Hà Tĩnh.

Năm Tự Đức thứ 21 (1868) huyện Hương Khê (vùng đất của huyện Thổ Hoàng trước đây) tách ra khỏi Hương Sơn.

Năm 1931, hệ thống hành chính nước ta bỏ cấp phủ. Huyện Hương Sơn trực thuộc tỉnh Hà Tĩnh.

Thời Việt Nam dân chủ cộng hòa (1945-1975): huyện Hương Sơn, tỉnh Hà Tĩnh.

Năm 1976-1991: huyện Hương Sơn thuộc tỉnh Nghệ Tĩnh.

Năm 1976, xã Ân Phú thuộc Hương Sơn chuyển sang huyện Đức Thọ và đổi tên thành xã Đức Ân (tuy nhiên đến năm 2000 lại chuyển về huyện Vũ Quang và đổi lại tên cũ là xã Ân Phú). Từ đây, huyện Hương Sơn có 31 xã: Sơn An, Sơn Bằng, Sơn Bình, Sơn Châu, Sơn Diệm, Sơn Giang, Sơn Hà, Sơn Hàm, Sơn Hòa, Sơn Hồng, Sơn Kim, Sơn Lâm, Sơn Lễ, Sơn Lĩnh, Sơn Long, Sơn Mai, Sơn Mỹ, Sơn Ninh, Sơn Phố, Sơn Phú, Sơn Phúc, Sơn Quang, Sơn Tân, Sơn Tây, Sơn Thịnh, Sơn Thọ, Sơn Thủy, Sơn Tiến, Sơn Trà, Sơn Trung, Sơn Trường.

Ngày 22-7-1989, thành lập thị trấn Phố Châu từ một phần xã Sơn Phố.

Từ năm 1991: huyện Hương Sơn thuộc tỉnh Hà Tĩnh vừa được tái lập.

Ngày 19-11-1997, thành lập thị trấn Tây Sơn từ một phần các xã Sơn Tây và Sơn Kim.

Ngày 2-8-1999, sáp nhập xã Sơn Phố vào thị trấn Phố Châu.

Đến năm 2000, huyện Hương Sơn có 2 thị trấn là Phố Châu, Tây Sơn và 30 xã: Sơn An, Sơn Bằng, Sơn Bình, Sơn Châu, Sơn Diệm, Sơn Giang, Sơn Hà, Sơn Hàm, Sơn Hòa, Sơn Hồng, Sơn Kim, Sơn Lâm, Sơn Lễ, Sơn Lĩnh, Sơn Long, Sơn Mai, Sơn Mỹ, Sơn Ninh, Sơn Phú, Sơn Phúc, Sơn Quang, Sơn Tân, Sơn Tây, Sơn Thịnh, Sơn Thọ, Sơn Thủy, Sơn Tiến, Sơn Trà, Sơn Trung, Sơn Trường.

Ngày 4-8-2000, xã Sơn Thọ chuyển sang thuộc huyện Vũ Quang.

Ngày 2-1-2004, chia xã Sơn Kim thành 2 xã: Sơn Kim 1 và Sơn Kim 2.

Từ đó, huyện Hương Sơn có 2 thị trấn: Phố Châu, Tây Sơn và 30 xã: Sơn An, Sơn Bằng, Sơn Bình, Sơn Châu, Sơn Diệm, Sơn Giang, Sơn Hà, Sơn Hàm, Sơn Hòa, Sơn Hồng, Sơn Kim 1, Sơn Kim 2, Sơn Lâm, Sơn Lễ, Sơn Lĩnh, Sơn Long, Sơn Mai, Sơn Mỹ, Sơn Ninh, Sơn Phú, Sơn Phúc, Sơn Quang, Sơn Tân, Sơn Tây, Sơn Thịnh, Sơn Thủy, Sơn Tiến, Sơn Trà, Sơn Trung, Sơn Trường, giữ ổn định cho đến nay.

Dự kiến sau năm 2030, các xã Sơn Hà, Sơn Tân, Sơn Mỹ sẽ được hợp nhất thành xã Tân Mỹ; các xã Sơn Thịnh, Sơn Hòa, Sơn An sẽ được hợp nhất thành xã An Thịnh; các xã Sơn Phúc, Sơn Mai, Sơn Thủy sẽ được hợp nhất thành xã Mai Phúc và các xã Sơn Quang, Sơn Diệm sẽ được hợp nhất thành xã Quang Diệm.