以下の設定をsshd_configの設定ファイルに反映して解決。

UseDNS no

CentOSやRedHatESなどのデフォルトインストールsshdは、初期設定がyesになっています。OSのバージョンによって異なります。