Родился Андрей Евграфович в Днепропетровской губернии в селение Афанасьевка (ныне Синельниковский район). В первой половине XX века Терновые переехали в Тургайскую губернию в местечко под названием Талдысай. Отец его Евграф Иванович вёл хозяйство, растил четверых детей: Ивана, Андрея, Ефима, Марию. Андрей Терновой трудился, как и все подростки того времени на сельхозработах. Женился на Елизавете Григорьевне Кравченко. В семье родилось трое детей: Евдокия, Семён, Вера.

В 1941 году был призван на фронт. Погиб в Харьковской области г. Барвенково в 1943 году.