Am ersten FIFA-Kongress, der am 22. Mai 1904 stattfand, wurde Robert Guérin als Präsident gewählt. Ihm zur Seite standen die Vizepräsidenten Victor E. Schneider (SUI) und Carl Anton Wilhelm Hirschmann (NED). Sekretär und Kassier wurde Louis Muhlinghaus (BEL), assistiert von Ludvig Sylow (DEN). Diese Pioniere sahen sich vor einer riesengroßen Aufgabe, denn die FIFA bestand praktisch nur auf dem Papier. Man musste ihr eine Form geben, Verbände als echte Landesvertretungen schaffen und neue Mitglieder gewinnen. Vorab galt es, die Engländer zu überzeugen, dass ihr Beitritt zur neu geschaffenen Organisation unerlässlich sei.

Am 14. April 1905 erkannte der Vorstand der "Football Association Ltd." die in der FIFA zusammengeschlossenen Verbände an und trat bei. Das war der erste grosse Erfolg der FIFA, den sie Baron Edouard de Laveleye zu verdanken hatte. Der Präsident der Union Belge des Sociétés de Sports Athlétiques hat mit grossem persönlichen Einsatz die letzten Bedenken und Zweifel der Engländer zerstreut. Der Baron wurde erstes Ehrenmitglied der FIFA.

Der zweite FIFA-Kongress fand 1905 in Paris statt. Inzwischen waren die Verbände aus Deutschland, Österreich, Italien und Ungarn der FIFA beigetreten; Schottland, Wales und Irland waren dem Beispiel Englands gefolgt. Und schon sprach man von einem internationalen Wettbewerb, der 1906 stattfinden sollte, legte sich auf vier Gruppen fest, mit dem Auftrag an die Schweiz, die Halbfinals und das Endspiel zu organisieren. Vorerst dachte man allerdings an die besten Klubmannschaften. Und der Schweizer Vizepräsident Victor Schneider hatte sogar schon eine Trophäe gestiftet.

Die FIFA-Exekutive wurde für ein weiteres Jahr in der gleichen Zusammensetzung gewählt, aber jetzt mehrten sich die Schwierigkeiten. Der erste geplante internationale Wettbewerb platzte. Verschiedene Landesverbände hatten andere große Sorgen. In Frankreich kam es zu einer Spaltung des Verbandes. Diese Schwierigkeiten belasteten den FIFA-Präsidenten sehr, der seine Aufgabe doch mit so viel Begeisterung angetreten hatte. Robert Guérin zog sich immer mehr aus dem Sportleben zurück und überliess die Administration seinem Vizepräsidenten Victor E. Schneider und seinem persönlichen Assistenten André Espir.

Immerhin: Ein Zeichen ihrer Stärke konnte die FIFA schon jetzt abgeben. Als die "English Ramblers", ein improvisierter englischer Fussballklub, ohne die Genehmigung der englischen Football Association auf dem Kontinent Spiele austragen wollten, verbot die FIFA ihren Mitgliedern, gegen diese Mannschaft anzutreten. Dieses strikte und kompromisslose Vorgehen beeindruckte vor allem die Engländer sehr, die jetzt zusammen mit den drei anderen britischen Verbänden ein gutes Verhältnis zur FIFA hatten.

Das dokumentierte sich am nächsten Kongress 1906 in Bern deutlich. Anstelle des abwesenden FIFA-Präsidenten Robert Guérin leitete Victor E. Schneider die Verhandlungen. Als neuer Präsident wurde der Engländer Daniel Burley Woolfall gewählt. Er war ein Pragmatiker und hatte große Erfahrungen im Verwaltungsrat der Football Association gesammelt. Unter seiner Führung kamen der englische und der kontinentale Fussball zu einer engeren Bindung. Zudem begann er mit großer Zielstrebigkeit einen unerbittlichen Kampf, um einheitliche Spielregeln durchzusetzen.

Die Idee eines großen internationalen Wettbewerbs war noch nicht gestorben, und so zeichnete die Football Association für die Administration und die Organisation eines Turniers verantwortlich, das anlässlich der Olympischen Spiele 1908 in London stattfand. Die Organisation war nicht ganz unproblematisch, die Probleme waren auch vier Jahre später noch nicht gelöst, als das Turnier 1912 in Stockholm stattfand. Der neue, kaum bekannte Sport wurde im Rahmen der Olympischen Spiele mit Argwohn betrachtet und galt vorerst nur als Spektakel, nicht aber als Wettkampf. Im Zusammenhang mit den Olympischen Spielen kam zudem das Problem der Profispieler auf den Tisch, ein Problem, das auch während der folgenden Jahrzehnte ein "Dauerbrenner" blieb. England gewann die beiden Turniere in den Jahren 1908 und 1912.

Der Kongress musste nach den Statuten jährlich in verschiedenen Städten stattfinden, er wurde stets von Woolfall präsidiert. Ganz oben auf der Tagesordnung stand immer der Wille zur Durchsetzung einheitlicher Spielregeln auf internationaler Ebene, was sich im Laufe der Jahre sehr positiv auswirkte. Daraus entstanden nämlich Grundregeln der Organisation, die teilweise heute noch Gültigkeit haben und die der FIFA damals schon erlaubten, eine solide Grundlage zu schaffen und eine klare Linie zu entwickeln.

Im administrativen Bereich wurden unter der Führung des englischen Präsidenten offensichtliche Fortschritte erzielt. Das erste offizielle FIFA-Bulletin wurde herausgegeben. Man einigte sich auf Französisch als offizielle Sprache. Die Spielregeln mussten fortan zwingend nach dem englischen Modell ausgelegt werden. Internationale Spiele wurden klar definiert (Nationalmannschaften und Klubteams), und Außenstehenden war es untersagt, Spiele zu organisieren, um einen Gewinn zu erzielen.

Bis zum Jahr 1909 setzte sich die FIFA ausschliesslich aus europäischen Verbänden zusammen. Die ersten Mitglieder aus Übersee wurden wie folgt registriert: 1909/1910 Südafrika, 1912 Argentinien und Chile, 1913 die USA. Das war der Beginn der weltumspannenden Tätigkeit der FIFA. Der lange Weg hin zur vollen Entfaltung war vorgezeichnet.