Odrastao je u Mukdenu (sada Šenjang), u Mandžuriji, gde je njegov otac, lekar, predavao na medicinskom koledžu. U srednjoj školi njegov najdraži predmet bila je matematika, ali je takođe bio zainteresovan i za sakupljanje insekata i počeo je da se zaljubljuje u spise Fjodora Dostojevskog, Franca Kafke, Rajnera Marije Rilkea, Edgara Alana Poa i Luisa Kerola. Abe je otišao u Japan 1941. da pohađa srednju školu. Godine 1943. počeo je da studira medicinu na Tokijskom carskom univerzitetu (sada Univerzitet u Tokiju), ali se 1945. vratio u Mandžuriju bez završenih diplomskih studija. Repatriran u Japan 1946. godine, diplomirao je medicinu 1948. pod uslovom da nikada ne radi. U to vreme, međutim, bio je duboko uključen u književnu delatnost. Objavio je 1947. o svom trošku Mumei shishu („Pesme nepoznatog“), a sledeće godine njegov roman Ovarishi ​​michi no shirube ni („Putokaz na kraju ulice“), komercijalno objavljen, bio je jako dobro primljen od strane publike. Godine 1951. njegov kratki roman Kabe („Zid“) nagrađen je nagradom Akutagava, čime je utvrdio njegovu dobru reputaciju u književnim krugovima. Godine 1955. Abe je napisao svoje prve drame, započevši dugu tradiciju saradnje sa pozorištima.