任意調査は、『任意』なので断れますか？

１．はじめに
税務署職員に電話で「調査に伺いたいのですが」と言われた場合、納税者が「その調査は任意調査ですよね。『任意』と言うことは私の判断で断れると考えていますので、お受けいたしません」ということができるでしょうか。
２．「任意」のとらえ方
そもそも調査は「任意調査」と「強制調査」に大きく分けられます。
任意調査の権限は、法人税法や所得税法等に「質問検査権」として規定されています。
一方、強制調査の権限は、国税犯則取締法により規定されています。
一般に税務調査の目的は、申告納税制度の下、租税負担が法律に従って正しく行われているかの確認をすることにあります。
その一環として、行政調査である任意調査が行われると考えられますから、納税者が一方的に、また理由なく断る事ができるとは判断しにくいでしょう。
ところで、任意調査である以上、納税者の意思を尊重し、承諾を得ることが前提となるはずです。
そのため、納税者の承諾無しに「強制的」に質問検査権を行使することはできません。
とは言え、法人税法や所得税法等により罰則規定が科せられることもあり、その意味では「間接的・心理的な強制を伴う」とも考えられます。
３．「任意調査」についての判例は？
京都地裁（H7.3/27）判決において、「任意調査であるはずなのに、店舗2階の居住部分に立ち入ることを納税者が拒否しているにも関わらず上がったり、バッグの中の検査を要求したり、タンスやベッドの引き出しまで検査したことは違法な質問検査権の行使である」と判断しています（北村事件）。
４．納税者の意思の尊重と承諾の重要性
それでは、税務署職員が予告無しに「任意調査です」と言って突然臨場した場合、納税者はどのように対応すればよいでしょうか。
突然の臨場は納税者を動揺させ、事業活動が一時停止することも予想されます。
特別な理由のない「任意」の調査であれば、納税者の意思を尊重し承諾を得ることが重要ですから、税務署職員に後日の日程調整を行ってほしいと協議をすることは、調査拒否とまではいえないでしょう。