Einen Tag nachdem die Gespräche über den Baubeginn am Ground Zero in New York gescheitert waren, hat der Gouverneur George Pataki am 15. März 2006 festgelegt, dass die Gespräche zwischen der Port Authority of New York and New Jersey und dem Immobilienspekulanten Larry Silverstein auch nicht wieder aufgenommen werden.
Der Bau des Freedom Towers steht damit komplett zur Disposition. Das meldet die New York Times am 16. März 2006. Der Freedom Tower ist das größte und symbolträchtigste der fünf geplanten Hochhäuser auf dem Gelände.

Silverstein muss mit dem Bau des 2,3 Milliarden US-Dollar teuren Freedom Tower im April 2006 beginnen, oder „er soll verschwinden“ (Pataki). Bis Mitternacht hatten Patakis Berater 16 Stunden lang mit Silverstein konferiert: Silverstein soll die Kontrolle über den Freedom Tower und ein zweites Gebäude an die Port Authority abgegeben, der die Grundstücke gehören. Auf Seiten der Port Authority glaubt man, dass Silverstein nicht genug Geld zum Bau der fünf Türme hat. Wenn der Bau nicht begonnen wird, will die Hafenverwaltung Silversteins Mietvertrag für ungültig erklären lassen. Denn Silverstein, der das World Trade Center von der Port Authority nur wenige Wochen vor der Zerstörung komplett angemietet hatte, hat weniger als die Hälfte der sieben Milliarden Dollar hohen benötigten Bausumme für den Neubau als Entschädigung seiner Versicherung erhalten.

Wäre der Deal zustandegekommen, hätte die Port Authority die Kontrolle über den Freedom Tower und das Grundstück an der Greenwich/Cedar Street, auf dem das beschädigte Gebäude der Deutschen Bank steht, übernommen.
Silverstein hätte die Grundstücke für die drei weiteren Türme an der Church Street behalten, die direkt neben dem neuen PATH-Terminal liegen und damit besser erschlossen sind. Silverstein muss ab Juli 2006 monatlich 125 Millionen Staffelmiete an die Hafenbehörde zahlen. Die Port Authority will den Freedom Tower nur übernehmen, wenn sie einen Großteil der Versicherungssumme bekommt.