从井上靖的幼年和少年时代来看，我们不得不说他与世间一般的人相比格外特别。尽管双亲健在，又有弟妹，但他一人却远离父母，与毫无血缘关系的祖母一起在一个仓库中度过了幼年时代。少年时又由于父亲担任军医，经常调动，所以独自一人离开父母度过了自由的中学时代。这个时期的故事，井上靖在他的自传和自传体作品中作过描写。例如《拉车的白马》、《幼时的事情》《夏草冬涛》等。通过阅读这些作品，在井上靖的幼年和少年时代中徘徊时，几乎可以找出后来促成井上靖成为一名小说家的全部原因。即使说正是因为这种特别的幼年时代才产生了小说家井上靖，也并非言过其实。

    井上靖明治四十年(1907年)五月六日作为长子出生在北海道的旭川，这是因为他的父亲井上隼雄当时正在旭川第七师团的军医部任职，其实他们家的原籍在静冈县田方郡上狩野村的汤之岛。井上隼雄出生在上狩野村门野原的石渡家，从金泽医学专门学校毕业后成为一名军医，后入赘井上家，与他们家的长女八重结婚。井上家自明和年间以来一直在伊豆行医，听说他们的始祖是从四国来的流民，带着他的母亲来到汤之岛，脱掉了草鞋，在当地安了家。井上家先辈中最让井上靖尊敬的是相当于第五代的曾祖父井上洁。井上洁从师于前辈军医总监松本顺先生，年青时在县立三岛病院任院长。中年退休后回到家乡汤之岛。当时他是伊豆一带众人皆知的名医。传说他还乘着轿子到沼津和下田去出过诊。

    井上靖五岁的时候离开父母，回到家乡汤之岛，由曾祖父的一个叫加乃的妾一手抚养。加乃长期伺奉井上洁，他为了报答她的辛劳，让她作为八重的养母入了户籍。所以在家里加乃就成了井上靖的祖母。本来把井上靖寄养在加乃那里是怕又有弟妹出生的权宜之计，但后来实际上不知不觉地就一直继续下去了。另一方面，对于井上家的长子作为所谓的“人质”放在自己的身边，加乃精神上感到有了保证，也不愿意放手。井上靖与加乃住在仓库的二楼上，一天到晚听她讲松本顺和曾祖父的故事。井上靖在《我的成长史》中用“同盟”一词来形容他与没有血缘联系的祖母之间的关系，幼年的特殊环境使得他从小就学会了面对现实，也可以说形成了以后将他造就为一名作家的基础。

    大正三年(1914年)，井上靖进入汤之岛小学，当时小学的校长是石渡盛雄，他是石渡家的户主，父亲隼雄的哥哥，也就是井上靖的伯父。井上靖读二年级时，他母亲的妹妹美琪从沼津的女子学校毕业回到了家乡，并应聘在他们的小学里当代课老师。美琪和她的姐姐八重一样，长得很漂亮。美琪疼爱井上靖，井上靖也喜欢年青漂亮的姨妈。也许在井上靖的心目中，美琪不知不觉地代替了远在他乡的母亲的形象。对母亲的思念转化成了对姨妈的喜爱。

    美琪爱上了学校里一位年青的同事，怀孕以后就退出了学校。怀有身孕的美琪为了避人耳目，夜晚乘人力车出嫁，这个情节在《拉车的白马》一书中有一段优美的描写。美琪出嫁后不久就患病去世了。这位青春早逝的姨妈的美好形象在井上靖的心中成长、升华，最后发展成为一种永恒的女性偶像。寄托在年青姨妈身上的对母亲的思念在他日后的作品中继续生存下去，表现为对理想女性偶像的憧憬。可以说《射程》中的三石多津子、《冰壁》中的美那子、《风林火山》中的由布姬和《灰狼》中的忽兰都是这位年青美貌的姨妈的化身。

    井上靖读小学六年级时祖母加乃去世了。此后为了考中学，他来到了父亲的驻地滨松。由于祖母的死和环境的变迁对年少的井上靖内心的打击，使他没能考上滨松一中。但是第二年的四月他却以第一名的成绩获得了成功。入学后不久在静冈县的优等生选拔会考中他又取得了一等奖。井上靖读中学二年级时，父亲转任台北卫戌区病