Ett första förslag gällande järnväg på Gotland framlades år 1870 där man föreslog en järnväg mellan Visby och Havdhem. Frågan kom upp i landstinget vid två tillfällen under 1870-talets början och 1874 startades ett upprop för att samla in medel för anläggandet av en järnväg. Visby stad beslöt att bidra med en halv miljon kronor för att anlägga en järnväg Visby–Hemse och en konstituerande bolagsstämma hölls i Gotlands järnvägsaktiebolag den 30 november 1875 där regementsläkaren Ernst Leijer utsågs till bolagets förste verkställande direktör. Man beslöt att banan skulle dras från Visby över Roma till Hemse och ha spårvidden tre svenska fot (891 mm).
Banan förlängdes i olika etapper norrut från Visby med början till Väskinde 1896, Tingstäde 1899 och slutligen Lärbro 1921. En förlängning till Fårösund planerades länge men slopades på slutet av 1940-talet då bland annat privatbilismen och lastbilstrafik hade börjat påverka järnvägens lönsamhet. Söderut förlängdes banan till Havdhem 1900 och till Burgsvik 1908. Vidare öppnades en bibana ner till Visby hamn 1901.
I 1945 års Gotlandskommittés uttalande SOU 1951:10 granskades järnvägarna på Gotland och det konstaterades att det vid transport av gods från Gotland till plats i fastlandet inte skedde mindre än sex omlastningar. För att undvika detta föreslog man att den trafiken skulle ersättas med lastbilar och bilfärja. Till följd av detta uttalande utbröt en häftig debatt i Gotlands tidningar där många personer förordade järnvägens fortbestånd. Så småningom kom taxorna att höjas och trafiken att minskas vilket tillsammans med privatbilism på frammarsch fick konsekvensen att den ekonomiska situationen för GJ kraftigt förvärrades.
13 maj 1959 intervjuades distriktschefen Bror Elwing i Gotlands Allehanda och där framkom en tydlig avsiktsförklaring: "Vi har kommit till den dag då vi måste lägga ned Gotlands järnväg. Inget annat återstår." Det uppgavs också att SJ:s utgifter skulle minska med c:a 2 miljoner kr årligen om järnvägen nedlades.
