ssh {サーバID}@{サーバID}.xsrv.jp -p 10022 -i ~/.ssh/{作成した秘密鍵のファイル名}

例：ssh itaktasugah1@itaktasugah1.xsrv.jp -p 10022 -i itaktasugah1.key

参考リンク

cdで秘密鍵を格納してディレクトリに移動した上で実行。
Xserver上でSSH接続の許可をOKにし、公開鍵を作成する必要がある。