Граф Федор Иванович Толстой с детства отличался физической силой, ловкостью и необузданным нравом. При этом он был человек весьма образованный. Пушкин в стихотворении называет его философом, добавляя — «который в прежни лета развратом изумил четыре части света». Здесь и упоминание кругосветки, совершенной графом, и намек на его якобы романтические отношения с обезьяной, о которых долго сплетничали в светских салонах. А поводов для светских сплетен граф давал предостаточно. В его рассказах вымысел всегда перемешивался с действительностью, а рассказы его друзей, недругов и знакомых были и вовсе невероятны. Даже внешний облик выдавал в нем человека необыкновенного. По словам Ф. Булгарина, «Федор Иванович был среднего роста, плотен, силен, красив и хорошо сложен, лицо его было кругло, полно и смугло, вьющиеся волосы были черны и густы, черные глаза его блестели, а когда он сердился, страшно было заглянуть ему в глаза». Именно таким запечатлел его Пушкин на рисунке в своей рукописи.
Как и большинство молодых дворян, Федор Толстой, который по свидетельству современников был прекрасным стрелком и фехтовальщиком, избрал для себя военную карьеру. Он окончил Морской кадетский корпус, но благодаря влиятельным родственникам служить начал не на кораблях, а в гвардейском Преображенском полку. Правда, на корабле он вскорости оказался, причем на борту трехмачтового шлюпа «Надежда», идущего под командованием Крузенштерна в кругосветку, но не в качестве флотского офицера, а в свите главы торговой делегации камергера
Этому предшествовала скандальная дуэль с полковником Дризеном, за которую следовало ждать серьёзных неприятностей. Поводом для дуэли послужил разнос за опоздание на полковой смотр, который устроил графу полковник. Ругани в свой адрес Толстой не переносил, а тут он еще и чувствовал себя чуть ли не героем, ведь вместо смотра он летал на воздушном шаре. Последовала резкая выходка в отношении командира и в результате — дуэль.
Спасая проштрафившегося гвардейца от заслуженного наказания, родственники добились замены на Федора уже назначенного в экспедицию его двоюродного брата тоже Федора Толстого, но Петровича (впоследствии известного скульптора-медальера). В длительном плавании Толстой, не обремененный служебными обязанностями, развлекался как мог. Он перессорился почти со всеми офицерами (к их счастью, о дуэли в плавании не могло быть и речи). Напоил корабельного священника и намертво припечатал его бороду сургучом к палубе. Протрезвевшему иеромонаху Гедеону пришлось для «освобождения» воспользоваться ножницами. «Помог» орангутангу, любимцу корабельной команды, залить чернилами документы в каюте руководителя экспедиции Крузенштерна.
Во время редких стоянок граф давал волю своей необузданной фантазии. В бразильском порту Додестеро он сцепился с португальским офицером, занимавшимся розыском контрабандистов, которого импозантная внешность графа ввела в заблуждение. Дело чуть не дошло до стрельбы, благо, португалец вовремя принес извинения. На одном из Маркизовых островов Толстой покрыл себе все тело татуировками. Если рассказам можно или верить, или — нет, то татуировка — это навсегда. Впоследствии демонстрации Федором нательной живописи всегда вызывали неподдельный интерес в обществе, являясь зримым подтверждением его необыкновенных приключений.
Бытует предание, что Крузенштерн, не выдержав выходок графа, высадил его на одном из островов, где Толстой провел несколько месяцев в ожидании попутного корабля и чуть ли не возглавил туземное племя. По другой версии Толстой был переведен на шлюп «Нева» и уже его капитаном Лисянским высажен на один из островов Северной Америки. Корабельный журнал «Надежды» эти версии не подтверждает. В июле 1804 года в Петропавловске-Камчатском Толстой и еще несколько членов экспедиции сошли на берег, чтобы следовать в Сант-Петербург сухим путем. Федор и здесь умудрился устроить себе очередное приключение.
Вернуться в Петербург, так и не побывав в Русской Америке, граф себе позволить не мог. В нарушение всех инструкций он отправился на Алеутские острова. Достоверных свидетельств этого вояжа практически нет. Есть воспоминания
В Петербурге запутешествовавшегося графа уже ждали и отнюдь не с восторгами. Прямо от Петербургской заставы его отправили в Нейшлотскую крепость. Толстому крупно повезло, Александр 1 всего лишь запретил ему появляться в столице, а в крепость послал не в заключение, а на службу. Можно представить, как изнывал от крепостной скуки деятельный граф, получивший в обществе прозвание «Американец». Куда он только не просился, но всегда следовал отказ, брать непредсказуемого графа под свою команду не хотел ни один командир.
Наконец князь
Шведская война реабилитировала Толстого, и его снова перевели в Преображенский полк. Но гвардейская служба опять оказалась недолгой. Дуэли, разжалование в рядовые, отставка, содержание в Выборгской крепости, ссылка в деревню под Калугу — все это уместилось в менее чем четыре года.