カフェインは人によって感受性は大きく違いますが弱い人は神経過敏になってしまう人もいます。
もし不安が気になるようでしたらカフェインの量を減らしていくと不安が改善されると可能性があります。
急にやめてしまうと離脱反応として頭痛などが生じることがありますので、日数をかけて徐々に減らしていくと良いと思います。
不安に悩まされやすい人は1日当たり100㎎以下にした方が良いでしょう。
パニック障害の疑いがある方は完全にカフェインを断ちましょう。
ハーブティーなどのノンカフェインの徐々に飲み物に替えていくと良いでしょう。
飲むときもながらで飲まずにマインドフルネス瞑想の一環として飲むとカフェインなしの物足りなさも緩和されると思います。