免許を返納する際の年齢制限などといったものは存在しません。最近では若い人ですら運転の必要がないと感じたら返納する人もいます。
なので「いつ返納させるべきか」を重要視すべきです。家族全体にも関わる問題になるかもしれませんので慎重に考えましょう。
本人の状態は？
本人の認知・判断機能がしっかりしており、認知症とも診断されていないといった場合は免許を返納させるのはよく考えてからにした方が良さそうです。
例えばMCI（軽度認知障害）の場合、まだ本人がしっかりしている状態なので無理矢理免許を返納させてしまうと自信喪失→うつ病につながるリスクが高まり、最悪の場合認知症へ発展するケースもあります。
特に現在の高齢者は高度経済成長期を経験してきた世代なので車＝ステータスという意識もあり、余計に運転できなくなる喪失感は大きいようです。
運転免許を持っている事自体が自分のステータスと思ってる人もいます。そんな人は免許は返納せず、あくまで車の運転を控える方向で進めるというのも一つの手です。
返納させるべき状態は？
認知症と診断された時でしょう。特に認知症中期以降にあらわれる「徘徊」や「迷子」といった行動が見られるようになったら非常に危険です。自分たちが加害者家族になる前にできるだけ早く免許を返納させるべきです。
更に症状が進めば、免許のあるなしに関わらず運転する事もあります。自分が免許を持っていたかどうかも忘れてしまうからです。少しでもそういった危険を感じたら車も処分しておくべきです。