これ出来るの知らなかった。(IP制限はfirewall, iptables, tcp wrapper(/etc/hosts.allow) でもするけど)
man sshd_config にガッツリ書かれてますね。
AllowUsers
(snip)
If the pattern takes the form USER@HOST then USER and
HOST are separately checked, restricting logins to particular users
from particular hosts. The allow/deny directives are processed in
the following order: DenyUsers, AllowUsers, DenyGroups, and finally AllowGroups.
- sshd_config
AllowUsers admin hoge@192.168.0.1
などと書いておけば、ユーザ hoge は192.168.0.1 からしかログインできないように制限できますね。(別途iptables、/etc/hosts.allow でも許可が必要)