SSHで接続できるようにして、SSHトンネルで接続します。

RDSにかぎらず、SSHで接続してDBにアクセスできるのであれば、同じ感じで行けるはず。

設定例のキャプチャ

ホストはダッシュボードで確認できるエンドポイントを入力。データベース/ユーザー/パスワードは設定した値を入れます。

SSHトンネルを使用するにチェックを入れて、ログイン情報を設定します。