Mej, krojačev sin, bio je učitelj u osnovnoj školi sve dok nije uhapšen zbog sitne krađe. Kasnije je još dva puta hapšen zbog prevare i proveo je nekoliko godina u zatvoru, gde je navodno halapljivo i neprekidno čitao. Nakon što je pušten na slobodu 1874. godine, Mej je napisao kratke priče koje su objavljivane u raznim časopisima. Njegova popularnost je porasla kada su se pojavile njegove zbirke kratkih priča i romani ranih 1890-ih.

Neka od najpoznatijih od njegovih više od šezdeset dela su Der Schatz im Silbersee (1894; „Blago u srebrnom jezeru“), Durch die Vuste (1892; U pustinji), Vinnetou, 3 vol. (1893; inž. prev., 1977); Ardistan und Dschinnistan (1909; Ardistan i Djinnistan), i autobiografija Mein Leben und Streben (1910; „Moj život i borba“). 

U njegovo sećanje osnovana je izdavačka kuća Karl Mai Verlag u Bambergu, Nemačka. (prvobitno u Radebeulu) i Muzej Karla Maja u Bambergu, koji sadrži kolekcije severnoameričkih Indijanaca.