Иноуе Ясуши е роден на 6 май 1907 г. в Асахикава, Хокайдо, Япония. Баща му Хаяо Ясуши е военен хирург, а майка му Яе Иноуе е от лекарска фамилия. На 6-годишна възраст е изпратен при баба си, бивша гейша, и отраства в родното село на семейството в префектура Шизуока. Учи в средното училище в Нумадзу, където започва да чете поезия. През 1926 г. се премества при родителите си в Каназава, където завършва гимназия. Като ученик тренира джудо и започна да пише стихове.
Не успява да постъпи в медицинско училище в Имперския университет Кюшу, затова следва специалности изкуство и философия в Имперския университет в Киото, където завършва през 1936 г. Там се запознава с творчеството на Пол Валери, когото превежда и продължава да пише поезия.
През 1935 г. се жени за Адачи Фумико, чийто баща е професор по антропология.
След дипломирането си работи като репортер за седмичното списание "Санде Майничи" в Осака. В периода 1937 - 1938 г. служи като войник в Северен Китай. След това работи в отдела за култура на вестник "Майничи".
Прави своя пробив в писателската си кариера през 1949 г. с двете си новели - "Ловджийската пушка" и "Борба с бикове". Втората печели през 1950 г. престижната литературна награда "Акутагава", след което той се посвещава на писателската си кариера.