任意調査なのに何故受けなければならないの？

一般の税務調査は任意調査と聞いておりますが、任意調査なのに何故受けなければいけないのでしょうか？
質問検査権と受忍義務
税務署には「質問検査権」と言うのがあります。
それは各税法に「必要があるときは・・・質問し・・・検査することができる」と明記されているからです。
しかも納税者が、税務署員の質問に対して答弁しなかったり、税務署員の帳簿検査について帳簿を見せない等の拒否や妨害をした時は、「1年以下の懲役又は20万円以下の罰金に処する。」と言う罰則が規定されています。
刑事犯においてすら、自らの不利になることについての証言拒否など被疑者の不答弁が認められていますが、税務調査については調査受忍義務が課せられています。
「必要があるとき」とは何時？
ここで問題となるのは、「必要があるとき」です。
「必要があるかないかは税務署が判断する」では納税者は何時でも何処でも一方的に調査を受忍するしかありません。　　　
ですから本来税務署は調査が必要な客観的理由を開示し、調査依頼をおこなわなければなりません。
なお最高裁の判例でも「『具体的事情にかんがみ、客観的な必要性があると判断される場合』に質問検査権が許される」、としております。
実際の調査では
よく言われる、調査理由としては、「暫く調査に伺っていないので」といった理由です。
これは通常の更正処分の期間が5年と言う理由によっております。
税務当局としては、「申告が正しいかどうかを確認する為に調査をするのであって、調査以前に、申告の何処に誤りや疑問があるといった具体的な調査理由の開示は不要である。」という見解をとっております。
その意味では「調査の必要があるかないかは税務署が判断する」状況になっております。