Der Belgier Rodolphe William Seeldrayers war der vierte FIFA-Präsident. In seinem neuen Amt konnte er gleich das Jubiläum zum 50-jährigen Bestehen der FIFA feiern, die jetzt 85 Mitglieder zählte. Er, der als Vizepräsident Jules Rimet über 25 Jahre assistiert hatte, verstarb im Oktober 1955.

Sein Nachfolger wurde der Engländer Arthur Drewry, gewählt am 9. Juni 1956, der aber die FIFA zuvor schon mehr als ein halbes Jahr interimistisch geleitet hatte. Er zeichnete für die Studienkommission für neuen FIFA-Statuten verantwortlich und eröffnete 1958 in Stockholm die 6. Weltmeisterschaft, die einen sehr erfreulichen Verlauf nahm und Brasilien als überlegenen Sieger hervorbrachte. Am 25. März 1961 verstarb Arthur Drewry im Alter von 70 Jahren.

Bis zum ausserordentlichen Kongress am 28. September 1961 in London führte der Schweizer Ernst B. Thommen die FIFA-Geschäfte. Er, der auch 1954, 1958 und 1962 Präsident der Organisationskommission für den Weltpokal war, hat für den Weltfussballverband sehr viel geleistet. Auf ihn folgte Sir Stanley Rous, der zum sechsten FIFA-Präsidenten gewählt wurde.

Rous war in seinen jüngeren Jahren ein ausgezeichneter Schiedsrichter und kannte sich im internationalen Fussball gut aus. In seine Präsidialzeit fiel der Sieg Englands an der WM 1966, was ihn besonders freute. Er genoss weltweit eine grosse Popularität. Viele neue Nationen erlangten ihre Unabhängigkeit, ihr Beitritt zur FIFA gehörte oft zu den ersten Schritten. So wuchs die Mitgliederzahl unaufhörlich. Die Fernsehübertragungen der Weltmeisterschaft trugen zur weltweiten Ausbreitung noch wesentlich bei.

Die FIFA war in diesen Jahren eher konservativ und zurückhaltend in ihren Entscheidungen. Die Mittel und Möglichkeiten waren begrenzt.

Als private Institution erhielt sie weder Regierungszuschüsse noch Zuwendungen aus anderen Quellen. Die finanziellen Mittel stammten einzig und allein aus dem Gewinn der Weltmeisterschaften, und davon musste man vier Jahre zehren. Ohne Risiko schien es nicht möglich, mehr zu erreichen. Mit grosser Selbstlosigkeit ging es um die Konsolidierung und Erhaltung des Werkes. All das erreichte Sir Stanley Rous. In Anerkennung seiner Verdienste wurde er am 11. Juni 1974 in Frankfurt zum Ehrenpräsidenten der FIFA ernannt. Das war der Tag, an dem der Brasilianer Dr. João Havelange die Leitung der FIFA übernahm.