Apacheのconf設定でIPアドレスによるアクセス制限を行うとステータス403が返ります。これをURLの存在を分からなくする為に404として返す必要があったのですが少し難しかったのでメモを残しておきます。

<Directory "/var/www/html">
    AllowOverride All
    Options -Indexes FollowSymLinks
    Order deny,allow
    deny from all
    allow from ***.***.***.***
</Directory>

#上記で拒否された403を404に書き換え
ErrorDocument 403 /403.html  #実態は不要
ErrorDocument 404 /404.html  #Not Foundページを用意
<Location ~ "/40(3|4).html">
    Order allow,deny
    allow from all
</Location>
RewriteEngine on
RewriteRule /403.html - [R=404,L]

ちなみに最近は.htaccessファイルを使用してカジュアルにアクセス制限やURLの書き換えを行うことが多いのですが、FTPアカウントなどで簡単に変更ができてしまうので、セキュリティに関わる設定は静的なconfファイルに記述することをお勧めします。