Возведение стартовало в 1738 году, а подошло к концу спустя 4 года.
На исходе 18 столетия вблизи и внутри Елгавского дворца проживали уроженцы Франции, бежавшие из родной страны, которую охватили революционные движения. В Елгаве беженцам выделили временные земельные участки. Даже будущий правитель Франции (Людовик Восемнадцатый) какое-то время «перекантовывался» здесь, компанию ему составляли известнейшие аристократы родины круассанов.
На расстоянии нескольких километров от дворца находятся охотничьи угодья, в которых любил проводить время герцог Ангулемский. Там, в деревушке Баложи, он пытался соорудить первую на свете повозку, которая двигалась бы сама и функционировала бы на дровах. Поговаривают, что повозку изобрел просто крестьянин из местных – Сунсис, а герцог присвоил его разработку себе, в конце концов, кому поверят!? Теперь уже некому разобраться с тем, кто же изобрел первый автомобиль.
Во время войны (начало 19 века) дворец превратился в госпиталь для прусского корпуса французских войск. А затем – в штаб губернской администрации, в котором обитали «сливки» Курляндии.
Кстати, в течение некоторого времени во дворце проживал и граф Калиостро.