Tėvai: Julijonas Greimas (1882–1942) – pedagogas pradžios mokyklos mokytojas, savivaldos organizatorius, politinis kalinys, miręs Rešotų lageryje (Krasnojarsko kr., Sibiras, Rusija), ir Konstancija Viktorija Mickevičiūtė-Greimienė (1886–1956) – tarnautoja, tremtinė. Augo trijų vaikų šeimoje, buvo vidurinysis. Sesuo Gražina Greimaitė-Tupčiauskienė (1911–1988) – pedagogė, brolis Romualdas Greimas (1923–?) – emigrantas Australijoje.

Augo lietuvių pabėgėlių, Pirmojo pasaulinio karo metais pasitraukusių į Rusijos gilumą, šeimoje, kūdikystę praleido Tuloje, kur tėvas J. Greimas dirbo mokytoju lietuvių pabėgėlių mokykloje.

1918 m. vasarą su tėvais grįžo į Lietuvą. 1918–1919 m. augo Kunigiškiuose (Anykščių r.), iš kur tėvas buvo išvykęs 1915 m., prasidėjus Pirmajam pasauliniam karui, o grįžęs toliau dirbo pradžios mokyklos vedėju.

Tėvams vis persikeliant, 1919–1927 m. augo Kupiškyje, 1924–1926 m. per dvejus metus sutrumpintu kursu baigė Kupiškio pradžios mokyklą, 1926–1927 m. mokėsi Kupiškio vidurinėje mokykloje, 1927–1931 m. baigė II–V klases Šiaulių berniukų gimnazijoje, 1931–1934 m. baigė Marijampolės Rygiškių Jono gimnaziją. 1934–1936 m. studijavo Kauno Vytauto Didžiojo universitete teisę, jo dėstytojai buvo Mykolas Romeris, Vosylius Sezemanas, Vladas Jurgutis ir kiti. 1936–1939 m. Grenoblio (Prancūzija) universiteto Humanitarinių mokslų fakultete baigė prancūzų kalbos, dialektologijos ir kalbotyros studijas, įgijo humanitarinį išsilavinimą.

Grįžęs į Lietuvą, 1939–1940 m. A. J. Greimas atliko karinę tarnybą Lietuvos kariuomenėje, 1940 m. spalio 1 d. baigė Karo mokyklą Kaune 15-ojoje kariūnų laidoje ir dėl politinių aplinkybių iškart buvo išleistas į karininkų atsargą, nesuteikus karinio laipsnio. 1940–1944 m. jis gyveno Šiauliuose ir dirbo Šiaulių mergaičių gimnazijoje ir Prekybos institute mokytoju, priklausė Šiaulių kultūrininkų būreliui ir dalyvavo pasipriešinimo vokiečių okupacinei valdžiai judėjime. Jis buvo vienas iš almanacho "Varpai" leidimo iniciatorių ir organizatorių, 1944 m. gegužės–birželio mėnesiais Šiauliuose išleido du paskutinius antinacinės rezistencijos laikraštėlio "Laisvės kovotojas" numerius.

1944 m. A. J. Greimas pasitraukė į Vakarus, įsikūrė Prancūzijoje. 1947–1949 m. jis buvo Paryžiaus Mokslinių tyrimų centro mokslinis tyrinėtojas slavistas. 1949 m. Sorbonos universitete jis apsigynė daktaro disertaciją iš prancūzų kalbos istorijos "Mada 1830-aisiais".

1950–1958 m. A. J. Greimas dėstė Aleksandrijos (Egiptas), 1958–1962 m. – Ankaros ir Stambulo (Turkija) universitetuose prancūzų filologijos disciplinas. Nuo 1962 m. jis buvo Puatjė (Poitiers, Prancūzija)  universiteto prancūzų kalbotyros profesorius.

1960 m. kartu su bendraminčiais A. J. Greimas įkūrė Prancūzų kalbos tyrimų draugiją.

Nuo 1965 m. jis buvo Paryžiaus (Prancūzija) Aukštųjų visuomenės mokslų mokyklos Bendrosios semantikos studijų vadovas, vadovavo semiolingvistinių tyrimų seminarui, kurio pagrindu susiformavo Paryžiaus semiotikos mokykla. 1965–1968 m. jis buvo Tarptautinės semiotikos asociacijos generalinis sekretorius, 1969–1971 m. – Tarptautinio semiotikos ir lingvistikos centro Urbine (Italija) mokslinis vadovas.

1971 ir 1979 m. A. J. Greimas lankėsi Lietuvoje, skaitė paskaitų ciklus Vilniaus universitete.

A. J. Greimo teoriniai moksliniai tyrimai padėjo pagrindus semiotikai kaip kalbinių ir nekalbinių ženklų sistemų prasmingumo mokslui. Jis sukūrė teoriją, aprašančią ženklų sistemų susidarymo ir jų funkcionavimo universalius principus, tų sistemų ryšius ir sąveiką. Plėtodamas semiotiką, jis siekė padėti bendrosios humanitarinių mokslų metodologijos pagrindus.

A. J. Greimas praturtino semiotiką originaliomis semiotinės struktūros, diskurso, prasmės izotopijos, naratyvinės gramatikos, naratyvinės programos, semiotinio vyksmo ir veiksmo, semiotinės komunikacijos, modalumo, kompetencijos ir kitomis sąvokomis. Savo darbuose semiotinius metodus jis pritaikė kalbos ir istorijos, mito, pasakos, literatūros kūrinio analizei.

Daugumą kalbinių bei semiotinių darbų A. J. Greimas parašė prancūziškai, prancūzų kalba išdėstė ir paties sukurtą bendrąją reikšmės teoriją. Mitologijos studijas ir eseistiką jis rašė ir lietuviškai.

Svarbiausi A. J. Greimo moksliniai ir eseistikos leidiniai:

1966 m. – "Struktūrinė semantika : metodo ieškojimas" (mokslinė studija prancūzų kalba, kiti leidimai: ispanų kalba – 1971 m., portugalų kalba – 1973 m., danų kalba – 1974 m., suomių kalba – 1979 m., prancūzų kalba – 1986 m., rusų kalba – 2004 m., lietuvių kalba – 2005 m.).

1968 m. – "Senosios prancūzų kalbos žodynas"

1970 m. – "Apie prasmę" (leidinys prancūzų kalba, straipsnių rinkinys).

1976 m. – "Mopasanas. Teksto semiotika : Praktinės pratybos" (leidinys prancūzų kalba), "Semiotika ir visuomenės mokslai" (studija prancūzų kalba, kiti leidimai: ispanų kalba – 1980 m., portugalų kalba – 1981 m.).

1979 m. – "Semiotika : Aiškinamasis kalbos teorijos žodynas" (leidimas prancūzų kalba, pirmoji dalis, su Joseph Courtes), "Apie dievus ir žmones : lietuvių mitologijos studijos" (studija lietuvių kalba, kiti leidimai: prancūzų kalba – 1985 m., anglų kalba – 1992 m.).

1983 m. – "Apie prasmę II" (leidinys prancūzų kalba, straipsnių rinkinys).

1986 m. – "Semiotika : Aiškinamasis kalbos teorijos žodynas" (leidinys prancūzų kalba, antroji dalis, su kitais autoriais).

1987 m. – "Apie netobulumą" (leidinys prancūzų kalba).

1989 m. – "Semiotika" (leidinys lietuvių kalba, mokslinių darbų rinktinė).

1990 m. – "Tautos atminties beieškant : apie dievus ir žmones" (leidinys lietuvių kalba, studija).

1991 m. – "Pasijų semiotika" (leidinys prancūzų kalba, su Jacques Fontanille), "Iš arti ir iš toli : literatūra, kultūra, grožis" (leidinys lietuvių kalba, straipsnių rinkinys).

1992 m. – "Viduriniosios prancūzų kalbos žodynas : Renesansas" (su Teresa Mary Keane).

A. J. Greimo mokslinių darbų reikšmė buvo išanalizuota ir įvertinta 2 tomų įvairių šalių mokslininkų darbų rinktinėje "Semiotikos tikslai ir perspektyvos : darbai Algirdo Juliaus Greimo garbei" (1985 m.). 1966–1990 m. jo darbai pasaulio literatūroje buvo cituoti beveik 2 tūkst. kartų, jis pripažintas vienu labiausiai žinomų lietuvių pasaulyje.

A. J. Greimas buvo apdovanotas JAV Lietuvių bendruomenės Kultūros fondo premija už knygą "Tautos atminties beieškant" (1989 m.).

Susituokė Paryžiuje (Prancūzija) 1948 m., žmona Ona Bagdonaitė-Greimienė-Greimas (?–1982). Liko našlys. Duktė Ada Greimas-Martinkus.

Gyvenimo pabaigoje vėl vedė, žmona Teresa Mary Keane Greimas – mokslininkė kalbininkė.

Mirė 1992 m. vasario 27 d. Paryžiuje (Prancūzija). Palaidotas Kauno Petrašiūnų kapinėse (19 kvartalas, 6 eilė, 5 kapas) Greimų šeimos kapavietėje. Kapą ženklina juodo akmens paminklinė stela su iškaltu įrašu: "Julius Greimas / 1882–1942 / Konstancija Greimienė / 1886–1956 / Gražina / Tupčiauskienė-Greimaitė / 1911–1988 / Jurgis Tupčiauskas / 1917–1989 / Algirdas Julius Greimas / 1917–1992".

Vilniaus universitete nuo 1992 m. veikia A. J. Greimo semiotikos ir literatūros teorijos centras. Vilniaus universiteto bibliotekos Rankraščių skyriuje saugomas A. J. Greimo asmeninis fondas (F245), kuriame sukaupti 1921–2017 m. laikotarpio dokumentai.

J. Šinkūnaitė ir O. Voverienė sudarė ir išleido bibliografijos leidinį "Algirdas Julius Greimas : mokslinės kūrybos bibliografinė rodyklė, citavimo indeksas, citavimo analizė" (1994 m.). Miglė Anušauskaitė nupiešė ir išleido komiksų knygą "Dr. Kvadratas. Greimas ir jo semiotika" (2017 m., knyga pateko į kūrybiškiausių tų metų knygų 12-uką).

Po A. J. Greimo mirties toliau leidžiami jo parengti tekstai:

1993 m. – "Lietuva Pabaltijy : istorijos ir kultūros bruožai" (su Sauliumi Žuku).

1998 m. – "Gyvenimas ir galvojimas" (leidinys lietuvių kalba, straipsniai, esė, pokalbiai).

1999 m. – "Baimės ieškojimas" (leidinys lietuvių kalba, studija).

2001 m. – "Apie netobulumą" (leidinys lietuvių kalba, esė, kitas leidimas – 2004 m.).

2005 m. – "Lietuvių mitologijos studijos" (leidinys lietuvių kalba, mokslinių darbų rinkinys).

2019 m. – "Apie viską ir nieką : žmogus, visuomenė, kultūra" (straipsnių rinkinys).

2022 m. – "Pokalbiai" (1956–1992 m. pokalbių rinkinys, sudarė Arūnas Sverdiolas).

A. J. Greimo vardu pavadintos gatvės Kaune, Vilniuje (Antakalnio seniūnijoje), Marijampolėje, Šiauliuose (buv. P. Cvirkos) ir Bajoruose (Vilniaus r.). Jo vardu pavadinta aikštė La Šosė (La Chaussee, Prancūzija), ten pat ant namo, kur mokslininkas gyveno, įrengta atminimo lenta. Vilniuje, Literatų gatvės meno projekte, jam dedikuota Ugnės Žilytės sukurta miniatiūra.

Prie gyvenamojo namo Kupiškyje, Vytauto g. 28, kur 1923–1925 m. augo A. J. Greimas, 2007 m. atidengta atminimo lenta (autorius – tautodailininkas Ramūnas Vizbaras). A. J. Greimo vardas ir jo veikla įamžinta Marijampolės Rygiškių Jono gimnazijos pastato fasado memorialinėje lentoje (2009 m.) ir Šiaulių Didždvario gimnazijos pastato fasado memorialinėje lentoje (2010 m.). Greimų vardu pavadintas tiltas Prienuose, prie namo, kur gyveno A. J. Greimas, įrengta atminimo lenta.

Paminklas A. J. Greimui atidengtas Kaune, K. Donelaičio g., prie Vytauto Didžiojo universiteto (autorius – skulptorius Stasys Žirgulis, 2017 m.). Granito ir bronzos kompozicijoje šalia bronzinio biusto metalinėmis raidėmis įrašyti mokslininko žodžiai: "Tikrovė / yra / tiktai / tai, / kuo / tikima".

Prof. Karolis Rimtautas Kašponis 2004 m. parengė ir įvairiose Lietuvos ir kitų Europos šalių erdvėse eksponuoja parodą-dokumentinę studiją "Algirdo Greimo vaikystė" apie pirmąjį A. J. Greimo gyvenimo dešimtmetį.

Pasaulyje žinomo kalbininko, semiotiko ir mitologo A. J. Greimo 100-osios gimimo metinės Lietuvos iniciatyva įtrauktos į 2016–2017 m. UNESCO ir valstybių narių minimų sukakčių sąrašą tarp daugiau kaip 40 pasaulio kultūrai, švietimui, mokslui, istorinei atminčiai svarbių šio laikotarpio datų (2015 m.). Filatelinių produktų serijoje "Garsūs pasaulio žmonės, kilę iš Lietuvos" išleistas pašto ženklas ir vokas A. J. Greimo 100-mečio sukakčiai (dailininkė Aušrelė Ratkevičienė, 2017 m.). Medalininkas Petras Repšys pagal filosofo Arūno Sverdiolo idėją sukūrė suvenyrinį ženklą-monetą "Vienas greimas" (2017 m.).