Nơi đây trước năm 1905 là Nhà hàng Maison Lefévre. Đến năm 1914, khi Sabatier về làm công sứ tại Đắk Lắk đã chọn địa điểm này để xây dựng Tòa Đại lý quận trưởng. Năm 1926, sau khi về thay công sứ Sabatier, công sứ Giran đã cho cải tạo và xây dựng tòa nhà như hiện nay và được gọi là Tòa công sứ, theo dân địa phương gọi là Sang Ae Prong (Nhà ông lớn).

Năm 1947, Chính phủ Pháp bảo lãnh Vĩnh Thụy (Bảo Đại) về nước với danh nghĩa là Quốc trưởng. Từ tháng 11/1947 đến khoảng tháng 5/1948, Bảo Đại đã đến đây ở và làm việc gần 8 tháng. Sau đó, vào những năm 1949 – 1954, hàng năm Bảo Đại thường tới đây vào dịp đầu mùa mưa để nghỉ ngơi và đi săn bắn, do đó ngôi nhà này còn có tên Biệt Điện Bảo Đại.

Di tích quốc gia Số 04 Nguyễn Du (Biệt Điện Bảo Đại) không chỉ là nơi diễn ra những sự kiện lịch sử lớn của tỉnh mà còn là một công trình kiến trúc đẹp, là nơi duy nhất trong thành phố bảo tồn được nhiều cây nguyên sinh, cây cổ thụ có tuổi thọ hơn một trăm năm.

Với diện tích gần 6,5 ha gồm một tòa Biệt điện và một nhà nài voi, khuôn viên di tích thật sự là lá phổi xanh, góp phần mang lại không khí trong lành cho thành phố Buôn Ma Thuột.

Toà nhà Biệt điện được xây dựng trên một cồn đất nhân tạo hình chữ nhật bằng phẳng có diện tích 2.135,8m², cao hơn so với mặt sân gần 2m và được kè đá vững chắc.

Bậc tam cấp lên toà nhà được thiết kế cao dần vào phía trong, tạo cảm giác nhẹ nhàng, sảng khoái như đang dạo bước trên ngọn đồi thoai thoải. Với diện tích xây dựng 1.514m², toà Biệt điện là một không gian đẹp, yên tĩnh, mát mẻ, một công trình kiến trúc kết hợp hài hoà, đặc sắc giữa kiến trúc nhà truyền thống của người Tây Nguyên với kiến trúc phương Tây, tạo nên nét đẹp độc đáo, hấp dẫn.

Năm 1925, giới trí thức người dân tộc tại chỗ do thầy giáo Y Jút lãnh đạo, đã tấn công Toà Đại lý quận trưởng. Cuộc đấu tranh chính trị, bạo động của học sinh, công nhân, viên chức do thầy giáo Y Jút lãnh đạo đã tác động mạnh mẽ đến bộ máy cai trị của bọn thực dân Pháp, gây tiếng vang lớn đối với đồng bào cả nước. Cũng chính cuộc đấu tranh này là nguyên cơ trực tiếp để chính phủ Pháp phải nhượng bộ, đưa Sabatier về nước, điều Giran đến làm công sứ.

Sau cách mạng tháng Tám năm 1945, tòa nhà đã trở thành trụ sở Hội đồng cố vấn cách mạng của tỉnh Đắk Lắk. Là nơi tổ chức các cuộc họp bàn, chỉ đạo việc bảo vệ và xây dựng chính quyền về mọi phương diện. Ngoài ra, trong suốt thời gian từ tháng 8 đến tháng 12/1945 tại đây còn là nơi triệu tập các cuộc họp của các đoàn thể thanh niên, phụ nữ, … triển khai các công việc trước mắt và lâu dài nhằm tuyên truyền, giáo dục đến mọi đối tượng trong xã hội, tin tưởng vào đường lối lãnh đạo của Đảng và Ủy ban cách mạng lâm thời, xây dựng tình đoàn kết các dân tộc.

Để từng bước khắc phục khó khăn về kinh tế, đồng thời khích lệ truyền thống tự lập, tự cường vươn lên làm chủ xã hội, làm chủ thiên nhiên. Tháng 10/1945, hưởng ứng phong trào Tuần lễ vàng do Chính phủ phát động, Đảng bộ và chính quyền tỉnh đã “…Tổ chức được Lễ ăn thề đoàn kết các dân tộc Êđê, Kinh, Mnông, Gia rai dưới hình thức hội chợ triển lãm kéo dài ba ngày ba đêm. Thông qua Hội chợ, đồng bào hiểu rõ chính quyền cách mạng là của nhân dân các dân tộc, hiểu rõ chính sách đại đoàn kết các dân tộc của Đảng và Nhà nước ta”.       

Sau năm 1975, nơi đây là trụ sở đầu tiên của Tỉnh ủy Đắk Lắk (1975 - 1978). Một phần của di tích được sử dụng làm Nhà khách của Tỉnh ủy, đã từng vinh dự đón tiếp những cán bộ lãnh đạo cao cấp của Đảng, Nhà nước mỗi khi đến thăm và làm việc tại Đắk Lắk như: Tổng Bí thư Lê Duẩn (4/1978); Chủ tịch nước Trường Chinh (1982), …...  

Để tiếp tục phát huy giá trị của công trình di tích, ngày 24/12/2020, Ủy ban nhân dân tỉnh Đắk Lắk đã có văn bản đề nghị Bộ Văn hóa, Thể thao và Du lịch xem xét, quyết định đổi tên “Di tích lịch sử Số 04 Nguyễn Du” thành “Di tích lịch sử Biệt Điện Bảo Đại”. Các phương án bảo tồn và phát huy giá trị của di tích cũng được Sở Văn hoá, Thể thao và Du lịch chỉ đạo triển khai thực hiện, trong đó có việc sưu tầm, bổ sung và hoàn thiện trưng bày nhằm giới thiệu đến công chúng không gian sống, làm việc của một nhân vật lịch sử.

Khai thác những tiềm năng của di tích để phát triển thành điểm tham quan du lịch hấp dẫn, kết hợp với các trưng bày của Bảo tàng Đắk Lắk và Nhà đày Buôn Ma Thuột, tạo thành một lộ trình khép kín giúp du khách có thể trải nghiệm, khám phá, tìm hiểu lịch sử, vùng đất, con người và thiên nhiên Đắk Lắk đó là mục tiêu của Bảo tàng Đắk Lắk trong thời gian tới.