Sprawa początków klubu jest wśród kibiców kontrowersyjna. Wersja z którą zgadzają się kibice Arki i historycy przyjmuje, że historia klubu zaczęła się od KS-u Gdynia. 

W 1929 roku pracownicy portu założyli organizację sportową K.S. Gdynia. 6 lat później Alfons Pomierski i Zygmunt Pozerski założyli Koło Sportowe, przekształcone w K.S. Kotwica i zgłoszone do rozgrywek Pomorskiego Związku Piłki Nożnej. Zespół zaczynał od klasy C i wspinał się po szczeblach coraz wyżej, by w 1938 roku zaistnieć w klasie A. Wojna spowodowała zawieszenie rozgrywek i dopiero w 1946 roku Kotwica była reaktywowana. Sześć kolejnych lat to czas fuzji pomiędzy różnymi organizacjami sportowymi. Dopiero w 1952 roku z wcześniej powstałej Federacji Sportowej Kolejarz wyodrębniono Koło Sportowe Kolejarz-Arka. Dopiero wtedy pierwszy raz padła nazwa "Arka".

Największym w historii gdyńskiego zespołu osiągnięciem jest zdobycie Pucharu Polski. 9 maja 1979 roku na stadionie Motoru Lublin, Arka Gdynia, przegrywając 0:1 z Wisłą Kraków zdołała wygrać 2:1, po bramkach Janusza Kupcewicza i Tadeusza Krystyniaka. Zwycięstwo w tych rozgrywkach było wydarzeniem szczególnym nie tylko dla Gdyni, ale i dla całego Pomorza. Ponownie udało się już to tylko Lechii Gdańsk, 4 lata później. Sukces Arki otworzył jej drogę do europejskich szczebli rozgrywek piłkarskich.