sshd_config AllowUsersにuser@host を書いてユーザごとにログイン元IPを制限する

これ出来るの知らなかった。(IP制限はfirewall, iptables, tcp wrapper(/etc/hosts.allow) でもするけど)
man sshd_config にガッツリ書かれてますね。

AllowUsers
(snip)
If the pattern takes the form USER@HOST then USER and
HOST are separately checked, restricting logins to particular users
from particular hosts. The allow/deny directives are processed in
the following order: DenyUsers, AllowUsers, DenyGroups, and finally AllowGroups.

AllowUsers admin hoge@192.168.0.1

などと書いておけば、ユーザ hoge は192.168.0.1 からしかログインできないように制限できますね。(別途iptables、/etc/hosts.allow でも許可が必要)