Своим наименованием форт обязан голландским мореплавателям. Именно они натолкнулись в XVI веке на песчаную мель. На французской географической карте она так и была обозначена — «banjaert hollidans». Постепенно данное название трансформировалось в более близкое уху француза Boyard.
Идея его возведения, как оказалось, восходила к 1667 году. То было время правления короля Людовика XIV. В 1666 году Жан Батист Кольбер, генеральный контролер финансов Франции, предложил около городка Рошфор в устье реки Шаранта построить судоверфь для сооружения военных кораблей. У англичан уже был добротный военный флот. Их корабли могли проникать из залива в реку, несмотря на французские орудия. И тогда король распорядился построить дополнительную крепость. За помощью обратились к опытному инженеру Клервилю, и его выбор пал на песчаную отмель Бойярд.
Маршал и толковый инженер Себастьян Вобан, поразмыслив над идеей Кольбера, осознал ее бесперспективность из-за низкого уровня строительной техники. В записке королю он сообщал: «Государь, проще ухватить Луну зубами, чем выполнить такую работу в этом месте». Мнение маршала стало решающим.
О замысле Кольбера вспомнили много позднее — летом 1801 года. Именно тогда группа гражданских и военных строителей вернулась к идее постройки форда Бойярд. Ими был разработан соответствующий план, утвержденный Наполеоном в начале 1803 года. К работам приступили не мешкая. Из-за того, что фундамент сооружения должен был опираться на прочное, каменное ложе, приходилось на отмель перевозить массивные гранитные блоки. Делалось это во время приливов.
В течение двух лет глыбы под собственной тяжестью легко уходили в глубь песчаной зыби. Колоссальный по объему труд обошелся казне Франции в круглую сумму — почти 4 миллиона франков. Для сооружения насыпи на отмели было добыто и перевезено на место назначения 3,5 тысяч кубометров камня. На этом строительство оборвалось.
Шел 1840 год. Он ознаменовался для Франции 10-летним юбилеем правления короля Луи-Филиппа, бывшего герцога Орлеанского. Вспомнили и о Наполеоне I, чьи останки перевезли в Париж. И тут, вновь, как и при правлении императора, возникли осложнения с английским военным флотом. А проблема надежной защиты судоверфи так и не была решена. Тогда и припомнили о долгострое Бонапарта.
К счастью, выяснилось, что подводная часть фундамента сохранила свою стабильность, значительно облегчая дальнейшее строительство. В это время в строительной практике уже появились новые материалы: цемент, известь. Бетонные блоки можно было изготовить прямо на острове.
Надводная часть фундамента была завершена в 1848 году и словно была приурочена к свержению Луи-Филиппа. Строительство продолжилось уже при Луи Наполеоне Бонапарте — вначале президенте республики, а затем императоре Наполеоне III. К моменту восстановления наследственной империи было завершено строительство цокольного этажа, и лишь в 1858 году соорудили верхнюю платформу здания и сторожевую башню.
Пройдет еще восемь лет, прежде чем появятся защитные волнорезы и пристань. Так долгострой растянулся больше чем на 60 лет.
Как же выглядело возведенное здание? Длина — 58 м, ширина — 31 м, высота — 20 м. Здание разделено на 66 казематов. Внутренняя площадь крепости составляет 565 кв. м, ее помещений хватало для размещения 260 военнослужащих и подсобных рабочих. Если бы крепость попала во вражескую осаду, то запасов пищи и еды хватило бы на два месяца. Огонь из 74 артиллерийских орудий, как предполагалось, мог бы остановить атаку неприятеля с моря.
Но пушек на форте было немного, так как пушки батарей соседних островов Экс и Олерон били на расстояние втрое большее, чем во времена Наполеона Бонапарта. А это означало, что форт как боевая крепость оказался вовсе ненужным. Столько средств, пота рабочих, трудов инженеров и проектировщиков — неужели все это безвозвратно ушло в «песок» отмели? Ан нет!
Во время франко-прусской войны 1870−1871 годов казематы форта приспособили под камеры для пленных прусских и австрийских военных. А после разгрома Парижской коммуны на смену им пришли уже политические заключенные — коммунары.
В 1961 году обладателем Бойярда стал пожилой бельгиец А. Аэрт, вначале намеревавшийся отреставрировать постройку и приспособить ее под казино. Однако вскоре он охладел к этому проекту. Совершенно случайно об историческом месте узнал известный режиссер Роже Вадим и добился разрешения снять эпизод с юной Брижит Бардо в киноленте «Отдых воина».
Несколько позже, в 1967 году, его коллега Роббер Энрико поставил в форте Бойярд финальную сцену своего остросюжетного фильма «Искатели приключений» по роману Хосе Джованни с участием знаменитых на весь мир актеров Алена Делона и Лино Вентуры. Так во многих странах узнали о существовании форта Бойярд.
Среди многих кинозрителей, очарованных экзотической стариной, оказался и телепродюсер Жак Антуан. Позже по его настоянию администрация Приморской Шаранты выкупила форт у Аэрта за полтора миллиона франков. Радость, охватившая Антуана при этом известии, не имела предела. «Я осознал, что это самое прекрасное место, как нельзя лучше подходящее для моей новой игры», — вспоминал Жак позднее.
Несколько месяцев ушло на очистку форта от развалов и мусора. На подступах к Бойярду построили пристань для приема катеров с посетителями. А потом здесь был снят первый выпуск игры «Ключи от форта Бойярд». Так начиналась новая фаза в биографии ныне всем известной морской крепости.