В апреле 1855 года он стал сенатором, а спустя неполный месяц получил от Наполеона III портфель министра иностранных дел. В следующем году он председательствовал в этом качестве на Парижском конгрессе, завершившем Крымскую войну, надолго вписав себя таким образом в историю европейской дипломатии.
Министерство иностранных дел Валевский возглавлял пять лет. В награду за заслуги перед Второй империей Наполеон III даровал ему обширные земельные владения.
В шестидесятые годы, перестав руководить иностранными делами, он еще оставался на вершине государственной иерархии. Поочередно исполнял обязанности: статс-секретаря, председателя палаты представителей, председателя Законодательного корпуса. В начале 1868 года он был избран членом Академии изящных искусств. Это была последняя почесть, которой он удостоился. 27 сентября 1868 года, возвращаясь из длительной поездки по Германии, граф Александр Колонна-Валевский неожиданно умер от удара в Страсбургской гостинице, прожив пятьдесят восемь лет.
От сына Наполеона и Марии идет французская ветвь графов Колонна-Валевских, не имеющая ничего общего и не связанная никаким родством с польским родом этого же имени.
Александр Валевский был женат дважды. Впервые он женился в 1831 году в Лондоне на леди Кетрин Керолайн Монтегю, дочери Джона Монтегю графа Сендвич, которая умерла через три года после женитьбы; второй раз – в 1846 году на маркизе Мари Риччи, внучке князя Станислава Понятовского, старшего племянника последнего польского короля. Графиня Мария Валевская, урожденная Риччи, приобрела широкую известность как одна из шикарнейших дам Второй империи. Несколько лет она играла при Наполеоне III ту же роль, что и ее свекровь и тезка при Наполеоне I.
От этих браков у Александра было всего шестеро детей, но только трое из них дожили до зрелых лет; сын Шарль и дочери Элиза и Эжени. В соответствии с установившейся традицией, часть бумаг Валевской, унаследованная Александром, после его смерти должна была перейти к сыну Шарлю. Но получилось иначе.
Фредерик Массой, публикуя в 1893 году бумаги Валевской, ясно сказал, что бумаги эти ему предоставил для ознакомления их владелец граф Антуан Колонна-Валевский, сын Александра. Польские историки, которые знали имя единственного законного сына Александра, отнеслись к информации Массона с сомнением. Мариан Кукель в своем последнем очерке о Валевской, хоть и повторяет этот факт, но после имени Антуан ставит в скобках знак вопроса. Но Массой, кажется, не допустил никакой ошибки. Загадку объясняет полная генеалогическая таблица французских Валевских, помещенная в книге Жозефа Валензееле «Внебрачное потомство Наполеона I». Из этой таблицы видно, что у Александра Валевского, кроме брачных детей, был еще внебрачный сын Александр Антуан, от его связи с известной актрисой Рашель (Элиза Рашель Феликс). Сына этого он признал сразу же после рождения, дав ему право на имя и титул. После смерти Рашель молодой граф Александр Антуан Колонна-Валевский воспитывался вместе со своими законными братьями и сестрами. То, что именно этому сыну Александр оставил в наследство самые ценные и интимные семейные бумаги, хорошо говорит о нем, как об отце. Видимо, он хотел избавить сына от комплекса внебрачного ребенка, открывая ему тщательно оберегаемую тайну своего собственного внебрачного происхождения. Александр Антуан Валевский с помощью Массона раскрыл эту тайну всему миру. Можно сказать, что почти всем, что мы сейчас знаем о Валевской, мы обязаны, с одной стороны, тактичности ее сына, с другой – бестактности ее внука. Потому что, если бы бумаги Марии унаследовал законный сын Александра – Шарль, история знаменитого исторического романа доныне оставалась бы личным секретом семьи Валевских. Следует добавить, что граф Роже Колонна-Валевский, который спустя семьдесят лет второй раз допустил в семейный архив историка, был внуком по прямой линии Александра Антуана.