Przed podbojem Galii przez Rzymian, teren obecnego miasta Arlon i tereny położone na południowy wschód od niego były zamieszkane przez celtycko-germańskie plemię Treveri. Mieszkańcy łatwo przystosowali się do stylu życia Rzymian. Duża liczba odnalezionych w okolicy kamiennych rzeźb i monumentów świadczy o tym, że osada Orolaunum szybko stała się centrum handlowym i administracyjnym. Pomimo murów obronnych, germańska inwazja w III wieku zniszczyła większość osady.

Przez większość średniowiecza, budynki takie jak termy były ciągle w użyciu. w roku 1060, Waleran I z Limburga, hrabia Arlon, wybudował zamek na wzgórzu Knipchen. W XIII wieku w Clairefontaine powstało opactwo cysterek, a w Autelbas wzniesiony został kolejny zamek.

W 1441 roku Księstwo Luksemburga, od którego Arlon było zależne, zostało częścią Niderlandów Burgundzkich za panowania Filipa Dobrego, diuka Burgundii. Po abdykacji Karola V na rzecz swojego syna, Filipa II w roku 1555, dla całego regionu rozpoczęły się trudne czasy czego przyczyną były ciągłe wojny pomiędzy Francją, Hiszpanią i Południowymi Niderlandami. W roku 1588 prawie połowa miasta, w tym także zamek, została zniszczona przez francuską armię Franciszka II, diuka Guise. W XVII wieku kapucyni wybudowali na ruinach zamku klasztor, a Francuzi wzmocnili mury obronne. Przypadkowy pożar zniszczył ponownie dużą cześć w 1785 roku.

9 czerwca 1793 roku armia rewolucjonistów stawiła czoło Austrii w pobliżu Arlon. Francuzi odnieśli zwycięstwo i zajęli miasto. Kapucyni zostali wygnani trzy lata później, a och klasztor został przekształcony w szpital.

W roku 1839 Arlon wraz z walońską częścią Luksemburga przyłączono do Belgii.

Arlon było jedną z pierwszych ofiar niemieckiej inwazji w roku 1914 - 121 mieszkańców zostało straconych 26 sierpnia z rozkazu pułkownika Richarda Karla von Tessmara. Ponownie podczas II wojny światowej okolice Arlon były jednymi z pierwszych zaatakowanych.