Окончил школу в Париже, учился в Школе политических наук [Ecole des Sciences Politiques], а затем в университете Женевы.
В 1897 году (17 лет) со своей матерью совершил вояж по Италии, посетив Капри.
В 22 года получил огромное наследство. Служил в армии, путешествовал, начал писать стихи и прозу, сборник его стихов Лёгкие песни (1900) вышел с предисловием Эдмона Ростана.
В 1902 году отдыхал в Венеции, где общался с писателем Жаном Лорреном [Jean Lorrain]. По возвращении в Париж опубликовал свой роман Notre Dame des mers mortes.
В 1903 году у Ферзена были тесные дружеские отношения с Лулу Локри [Loulou Locré], учеником лицея Карно.

В 1903 году, после неудавшейся попытки шантажа бывшим камердинером Ферзена - Пьером Ж., требовавшим 100 000 франков в обмен на молчание, разразился скандал. Мать Ферзена отказалась платить. Шантажист пошел в полицию.
За организацию в своем парижском особняке [18 Avenue de Friedland] чёрных месс — гомосексуальных вечеринок [Под ними подразумевались поэтические чтения и разгрывание мифологических сцен с участием полуобнаженных подростков] с участием парижских школьников Ферзен был арестован, осужден на 6 месяцев тюремного заключения, лишен гражданских прав на 5 лет, и приговорён к денежному штрафу в размере 50 франков. Вместе с ним был арестован другой аристократ, Гамелин де Уоррен.
По сообщениям прессы тех лет, между бароном и мальчиками существовали сексуальные отношения. Возможно, Ферзену повезло, что в его праздниках принимали участие несколько влиятельных фигур парижского общества: многие видные дамы и господа приходили посмотреть на эксгибиционические живые картины и пластические позы, и некоторые из наблюдателей фактически принимали участие в действии; что, вероятно, побудило суд отказаться от ряда обвинений, чтобы минимизировать скандал. Кроме того, было учтено, что школьники, оказавшиеся в эпицентре скандала, происходили из «хороших семей», и учились в престижных школах, поэтому их имена на суде не оглашались. Из-за случившегося расстроились брачные планы Ферзена.

После скандала Ферзен удалился на Капри, где неподалеку от прежней виллы императора Тиберия Юпитер построил себе в 1905 виллу Лисий (по имени героя платоновского диалога о дружбе), на которой жил со своим постоянным юным спутником Нино Чезарини (с которым познакомился в Риме, по пути на остров, когда тому было 14 лет), известным по портрету работы Пауля Хёккера и фотографиям Вильгельма фон Плюшова. На фронтоне виллы была выбита латинская надпись AMORI ET DOLORI SACRVM (Святыня любви и скорби). Ферзен стал центром гомосексуального кружка писателей, художников, музыкантов и просто любопытствующих богатых туристов, эксцентрической достопримечательностью острова.

Издавал ежемесячный журнал свободных искусств и критики Akademos (1909, вышли 12 номеров), где печатались Максим Горький, Анри Барбюс, Эмиль Верхарн, Колетт, Жан Мореас, Лоран Тайяд, Жозеф Пеладан, Анатоль Франс, Филиппо Томмазо Маринетти, Клод Фаррер и пр.

Опубликовал несколько книг стихов, два романа.
Постоянно употреблял наркотики. Покончил с собой, выпив шампанского с избыточной дозой кокаина.

На стихи барона писал музыку Отторино Респиги. В качестве героя он фигурирует в произведениях Эдвина Черио («Маркиз Поммери», 1927), Комптона Маккензи («Огонь Весты», 1927), Альфреда Жарри («Зеленая свеча», опубл. 1969), мемуарах Нормана Дугласа. Его жизнь является основой беллетризированный биографии Роджера Пейрефитта («Сосланный на Капри», 1959).
Проза Ферзена в недавнее время переиздана, переведена на несколько европейских языков. Его вилла до нынешнего дня привлекает многочисленных туристов.