Первое письменное упоминание о Яффо встречается в хрониках фараона Тутмоса III, где сообщается о взятии Яффо в XV веке до н. э. Затем городом и портом владели попеременно филистимляне, финикийцы, греки во главе с Александром Македонским, римляне, евреи, арабы, крестоносцы, мамлюки, турки, французы во главе с Наполеоном, англичане.
А Маккавеи расширили Яффский порт, окружили город новой стеной с башнями и даже чеканили здесь свои монеты с изображением якоря. Но в ходе Первой Иудейской войны римляне, подавив восстание, разрушили Яффо, а затем отстроили заново.
Центром Яффо является Кикар а-Шаон (Площадь Часов), в центре которой с 1906 года стоит Мигдаль а-Шаон (Часовая башня). Под куполом этой квадратной башни на её сторонах установлены 4 циферблата, которые сегодня все настроены на местное время. Однако в прошлом два из них показывали время гринвичское (европейское), а два других — местное. Окна и проёмы Часовой башни украшены фигурными решётками, изображающими историю Яффо.
С запада от Часовой башни расположено здание, где в прошлом размещалась тюрьма, в которую во время как турецкого, так и британского правления заточались бойцы еврейских подпольных военизированных организаций ЭЦЕЛЬ и ЛЕХИ. На этой же площади расположен дом, где размещалась турецкая, а позже британская администрация.
На углу улицы, ведущей вверх к Гиват Яффо, находится главная мечеть города «Махмудия», построенная в 1810 году губернатором Яффо Мухаммадом Абу-Набута. На наружной стене мечети находится питьевой фонтанчик для утоления жажды путников и верблюжьих караванов «Савиль Сулейман» («Корыто Сулеймана»), названный так в честь султана Сулеймана Великолепного, правителя Османской империи с 1520-го по 1566-й год. Прямо под минаретом находится главный вход в мечеть.
Главной площадью Яффо является Кикар Кдумим (Площадь древностей), архитектура которой отражает многогранную историю города, воссозданную с помощью раскопок. Чуть ниже этой площади находится Музей истории Яффо (Музеон ле-толдот Яфо).
Рядом с площадью стоит главная францисканская церковь города — Храм св. Петра (Кнесият сент Петрус). Согласно христианским сочинениям, именно в Яффо находился в заключении святой Петр — в доме Симона-кожевника, и именно здесь он излечил Тавифу, и именно здесь он увидел вещий сон, после которого начал проповедовать среди неевреев. Пышный интерьер типично католического собора весьма впечатляет своими размерами и убранством. Во дворе церкви стоит на пьедестале герой крестовых походов — Король Франции Святой Людовик IX.
С западной стороны Кикар Кдумим открывается хороший обзор моря и яффского побережья. На расстоянии нескольких сот метров от береговой линии, в направлении открытого моря, видны знаменитые рифы, которые называют «Скалы Андромеды». Греческие мифы рассказывают, что именно здесь была прикована к скале прекрасная Андромеда, которую спас от страшного морского чудовища храбрый Персей.
Выше Площади древностей находится Рош а-Гивъа (Вершина холма), на которой находится круглая площадка под названием «Абраша-парк». В середине её стоит четырёхметровая довольно модернистского вида скульптурная композиция «Врата веры», которая как бы материализует идею иудейского существования на Земле Обетованной тремя сюжетами: взятие Иерихона и вход еврейских войск в Израиль, жертвоприношение Ицхака Авраамом и сновидение Иакова.
Под аркой памятника принято загадывать желания. Если обойти его слева, встать к нему лицом, закрыть глаза, сосредоточиться, загадать желание, затем поднять ладони до уровня головы, с закрытыми глазами шагнуть и дотронуться до памятника, то ваше желание сбудется.
На южной стороне Вершины Холма были обнаружены древнеегипетские городские ворота.
На Холме построен деревянный Мост Зодиаков, или Мост желаний, на перилах которого располагаются железные кольца со знаками Зодиака. Здесь можно найти свой знак, положить на него руку и загадать желание.
Ниже Площади древностей находятся переулки, каждый из которых назван по тому или иному знаку Зодиака. Там висят красивые керамические таблички с их изображениями. В старину люди, которые жили в этих переулках, могли совершать браки только с людьми из соседних переулков. Поэтому эти переулки расположены в зодиакальной совместимости. Согласно поверьям, если человек найдет свой знак Зодиака, загадает желание и дотронется до него, то его желание исполнится.
Между Симтат Мазаль Дагим (переулок знака Зодиака Рыбы) и Симтат Мазаль Арье (переулок знака Зодиака Лев) расположена древняя синагога, построенная около 260 лет назад первыми репатриантами из Ливии.
Еще в Яффо есть подземный музей Наполеона, указатели к которому сделаны в виде статуй Наполеона, рукой указывающих нужное направление.
Ни один турист не минует ещё одну достопримечательность Яффо — «дерево, растущее из камня», которое находится в маленьком тупичке. Это огромный камень, подвешенный на трех тросах с растущим из него деревом. По легенде, его туда никто не сажал и выросло оно из этого камня само.
На набережной находится монументальная доска, где на трёх языках написано про оборону Яффо, а также везде стоят пушки, оставшиеся как памятники войны с французами.
Когда-то Яффо был одним из древнейших на Средиземном море портов. Через Яффский порт проходил знаменитый Морской торговый путь из Египта в Месопотамию (Via Maris). Этот порт активно использовался на протяжении тысячелетий и оставался действующим до 1965 года.