Đời Hùng Vương, địa bàn tỉnh Hải Dương ngày nay thuộc bộ Dương Tuyền, thời nhà Tần thuộc Tượng quận, thời nhà Hán thuộc quận Giao Chỉ, thời Đông Ngô thuộc Giao Châu, nhà Đường đặt ra Hải Môn trấn, sau đổi thành Hồng Châu.

Nhà Đinh chia làm đạo, vùng Hải Dương vẫn mang tên là Hồng Châu, nhà Tiền Lê cũng theo như nhà Đinh.

Thời Nhà Lý đổi thành lộ Hồng, sau đổi thành lộ Hải Đông.

Đến thời Nhà Trần đổi lại thành lộ Hồng, rồi lại đổi thành lộ Hải Đông. Sau đó đổi làm 4 lộ: Hồng Châu thượng, Hồng Châu hạ và Nam Sách thượng, Nam Sách hạ, (còn gọi chung là Nam Sách Giang).

Năm Quang Thái thứ 10 (1397), vua Trần Thuận Tông đổi lộ Hải Đông thành trấn Hải Đông.

Thời kỳ thuộc Minh (1407-1427), vùng đất Hải Dương thuộc hai phủ Lạng Giang và Tân An.

Thời Nhà Hậu Lê, niên hiệu Thuận Thiên (1428-1433), vua Lê Thái Tổ cho thuộc Đông Đạo.

Khoảng niên hiệu Diên Ninh (1454-1459), vua Lê Nhân Tông chia lại thành 2 lộ là Nam Sách thượng và Nam Sách hạ.

Năm Quang Thuận thứ 7 (1466), vua Lê Thánh Tông đặt thừa tuyên Nam Sách.

Năm 1469 đổi làm thừa tuyên Hải Dương. Danh xưng Hải Dương chính thức ra đời, lúc này Lỵ sở đặt tại Trấn Doanh Vạn, Ải Vạn (hay còn gọi là Dinh Vạn) Xã Mạc Động huyện Chí Linh đây là trung tâm hành chính của thừa tuyên Hải Dương đến năm 1739.

Năm Hồng Đức thứ 21 (1490) đổi làm xứ Hải Dương.

Năm Hồng Thuận thứ nhất (1509), vua Lê Tương Dực đổi làm trấn Hải Dương.

Từ năm 1527 đến năm 1592, Nhà Mạc gọi là đạo Hải Dương. Năm 1529, Mạc Thái Tổ (Mạc Đăng Dung) trao ngôi vua cho con là Mạc Đăng Doanh còn Mạc Đăng Dung làm Thái thượng hoàng về Cổ Trai, lấy Nghi Dương làm Dương Kinh, trích phủ Thuận An ở Kinh Bắc và các phủ Khoái Châu, Tân Hưng, Kiến Xương, Thái Bình ở Sơn Nam cho lệ thuộc vào Dương Kinh.

Đời nhà Lê trung hưng, khoảng niên hiệu Quang Hưng (1578-1599), vua Lê Thế Tông đổi làm trấn theo nguyên như cũ.

Năm Cảnh Hưng thứ 2 (1741), vua Lê Hiển Tông chia làm 4 đạo: Thượng Hồng, Hạ Hồng, Đông Triều và An Lão.

Nhà Tây Sơn đem phủ Kinh Môn thuộc Hải Dương đổi thuộc vào Yên Quảng.

Năm 1802, vua Gia Long đem Kinh Môn thuộc về trấn cũ và cho lệ thuộc vào Bắc Thành.

Năm 1804, đời vua Gia Long, lỵ sở Hải Dương được chuyển từ Mao Điền (Cẩm Giàng) về tổng Hàn Giang (thuộc thành phố hải Dương ngày nay), đặt trên vùng đất cao thuộc ngã ba sông Thái Bình và sông Sặt với mục tiêu trấn thành án ngữ vùng biên hải phía đông Kinh đô Thăng Long, vì vậy có tên gọi là Thành Đông, nghĩa là đô thành ở phía đông.

Năm Minh Mạng thứ 3 (1822), đổi phủ Thượng Hồng làm phủ Bình Giang, phủ Hạ Hồng làm phủ Ninh Giang, còn hai đạo Đông Triều và An Lão thì đặt làm hai huyện.

Năm Minh Mạng thứ 12 (1831) chia thành một tỉnh độc lập và đổi làm tỉnh Hải Dương gồm 5 phủ và 19 huyện.

Giao chiến tại thành Hải Dương giữa thực dân Pháp và quan binh Hải Dương. Khi Adrien - Paul Balny d'Avricourt chỉ huy quân Pháp đi trên chiến hạm Espignole đổ bộ đánh chiếm Hải Dương trong Chiến tranh Pháp - Đại Nam diễn ra từ năm 1858 đến năm 1884Bản đồ tỉnh Hải Dương năm 1891

Năm 1887, thực dân Pháp tách một số huyện ven biển của Hải Dương, đặt thành tỉnh Hải Phòng. Ngày 19 tháng 7 năm 1888, Tổng thống Pháp Sadi Carnot ký sắc lệnh thành lập thành phố Hải Phòng và Hà Nội - thành phố Hải Phòng chính thức có tên trên bản đồ Liên bang Đông Dương. Theo sắc lệnh thành phố Hải Phòng được tách ra từ tỉnh Hải Phòng, phần còn lại của tỉnh Hải Phòng lập thành tỉnh Kiến An.

Năm 1923, Toàn quyền Đông Dương quyết định thành lập thành phố Hải Dương.

Thị trấn Ninh Giang, tỉnh Hải Dương thời Pháp thuộc. Phu Ninh Giang Rue principale Hải Dương trong một bưu thiếp của Pháp đầu thế kỷ 20

Tháng 3 năm 1947, chia thành phố Hải Dương thành 2 quận rồi trở về thành thị xã.

Năm 1968, tỉnh Hải Dương sáp nhập với Hưng Yên thành tỉnh Hải Hưng, tỉnh lỵ là thị xã Hải Dương.

Năm 1977, hợp nhất 2 huyện Cẩm Giàng và Bình Giang thành huyện Cẩm Bình.

Năm 1979, hợp nhất 2 huyện Gia Lộc và Tứ Kỳ thành huyện Tứ Lộc; hợp nhất 2 huyện Kim Thành và Kinh Môn thành huyện Kim Môn; hợp nhất 2 huyện Nam Sách và Thanh Hà thành huyện Nam Thanh; hợp nhất 2 huyện Ninh Giang và Thanh Miện thành huyện Ninh Thanh.

Ngày 27 tháng 1 năm 1996, chia 2 huyện Tứ Lộc và Ninh Thanh thành 4 huyện như cũ.

Ngày 6 tháng 11 năm 1996, tái lập tỉnh Hải Dương từ tỉnh Hải Hưng. Khi tách ra, tỉnh Hải Dương có 9 đơn vị hành chính gồm thị xã Hải Dương và 8 huyện: Cẩm Bình, Chí Linh, Gia Lộc, Kim Môn, Nam Thanh, Ninh Giang, Thanh Miện, Tứ Kỳ.

Ngày 17 tháng 2 năm 1997, chia lại các huyện Cẩm Bình, Kim Môn và Nam Thanh thành 6 huyện như cũ.

Ngày 6 tháng 8 năm 1997, chuyển thị xã Hải Dương thành thành phố Hải Dương.

Ngày 17 tháng 5 năm 2009, thành phố Hải Dương được công nhận là đô thị loại II.

Ngày 12 tháng 2 năm 2010, chuyển huyện Chí Linh thành thị xã Chí Linh.

Ngày 1 tháng 3 năm 2019, chuyển thị xã Chí Linh thành thành phố Chí Linh.

Ngày 17 tháng 5 năm 2019, Thủ tướng Chính phủ ban hành Quyết định số 580/QĐ-TTg công nhận thành phố Hải Dương mở rộng đạt tiêu chí đô thị loại I trực thuộc tỉnh Hải Dương.

Ngày 1 tháng 11 năm 2019, chuyển huyện Kinh Môn thành thị xã Kinh Môn.

Tỉnh Hải Dương có 2 thành phố, 1 thị xã và 9 huyện như hiện nay.