現在の作業ディレクトリ ('pwd' を実行) が ~/hd の下にないことを確認してください。現在そのディレクトリにいる場合、umount はアンマウントを拒否します。
コマンド lsof どのプロセスがファイルを開いているかを教えてくれます。
~/hd のサブディレクトリに何か他のものをマウントした場合、この動作が見られます。この場合、fuser も lsof も何も表示しません。 ~/hd の下に何もマウントしていない場合 ('mount' がこの質問に答えます)、何を確認すればよいかわかりません。