結論からいうと無効になる可能性があります。

自社に有利な契約を結びたい一心でこのような契約を結ぶ例を見かけることがあります。しかし、契約内容があまりに一方に不利であって社会的な妥当性を欠くときは、公序良俗違反として、その条項や契約そのものが無効とされることがあります。

ライセンス料の返却が問題となるケースとしては、契約に錯誤などの瑕疵がある場合、ライセンサーの契約違反、許諾の目的である特許の無効など様々なものが考えられます。
このような抽象的な条文によって、ライセンシーが特許が無効だった場合まで想定したうえで、この契約を結んだと扱うのはあまりに酷であるとされています。

反対に、「既払い済みの特許実施料は、本件特許の無効が確認された場合でも返却しない。」という条項は、ライセンシーが予めそのリスクを織り込んでいるので有効です。（リスクの分だけライセンス料の減額を交渉すべきですが）。　

ライセンス契約については、公正取引委員会の「知的財産権の利用に関する独占禁止法上の指針」への抵触がしばしば問題になることにも注意が必要です。