De fire steninteresserede mennesker An-Ma-Ra, Hanne Lau Hansen, Poul Erik Pedersen og Poul Pedersen fik i december 1983 den ide at sætte en annonce i avisen for at søge ligesindede til oprettelse af en forening, der var så stor tilslutning at man allerede den 27 februar 1984 kunne holde stiftende generalforsamling i Fuglebjerg, hvor Poul Pedersen blev den første formand for Sydvestsjællands Amatørgeologiske Forening som var det første navn.
Allerede i 1985 fik vi føjet et og ind i navnet så det blev Syd og vestsjællands Amatørgeologiske Forening, da vi havde medlemmer fra hele det sydsjællandske område, men dette viste sig dog at være for stort et geografisk område så i 1987 blev vi delt i to, hvor nogle oprettede en forening i Korsør, og vi flyttede til Næstved og blev til Sydsjællands amatørgeologiske forening med base på Grønnegades kaserne, hvor vi i 1999 fik egne lokaler til vor store mødeaktivitet.
Vi har gennem alle årene markeret os kraftigt udadtil, med udstillinger på biblioteker, i banker og butikker, på hobby og aktivitetsudstillinger og sidst men ikke mindst fra 1992 en stor udstillings og stenbestemmelsesstand på stenmessen i Næstved
Ligeledes arrangerer foreningen en masse ture til ind og udland for indsamling af mineraler og fossiler, som samtidig giver et godt og aktivt klubliv 
Vi har også helt fra starten udgivet medlemsbladet STUFE som med årene er vokset fra et foldet A4 til nu at være på 20 sider og udkommer 4 gange om året med indlæg artikler og program.