在奥利维亚2岁时，她的母亲再嫁给一个美国空军军人，因此他们离开了俄克拉荷马举家搬迁了数次，最后奥利维亚搬到了日本东京的美军基地居住。