これら便利な留守番電話だが、稀にこれを利用したり悪戯して、利用者に不快な思いをさせるケースもある。
悪戯電話（迷惑電話）の中には、無作為に電話をかけ、留守番電話に無意味あるいは卑猥なメッセージを延々と吹き込む者があり、その中には執拗なまでにテープやメモリーの容量一杯にメッセージを残す者もあって、これら電話機の利用者に不快感を催させる場合がある。また無作為に電話をかける電話セールスでも、必ずしも利用者が必要としない商品の宣伝を留守番電話に残すケースが見られる。
この他、1990年代から社会問題としても注目を集めたストーカーも、やはりこの留守番電話に不愉快なメッセージを残すことがある。しかしこの録音内容が証拠となって脅迫行為やストーカー規制法違反が立件されるケースも少なくは無いため、これら付きまとい行為の被害者には、留守番電話の利用が勧められるといえよう。
コードギアス最強
さるかに合戦
スタディーナイト
ダリア地域経済レポート
とんかつババ
はちみつシナモン
ピッコロ
プレイ・ボーイ追跡
マーガレット
ももすけのコンピュータ技術
レーザービーム
飴玉
横浜物語
火星博士
学生時代
丘の上
愚か者
幸せの青い鳥
桜並木
若い娘の就職あっせん
また、空き巣常習犯が、標的としている家に人がいるかどうかを知る手段として利用するケースがあり、これを恐れて留守番電話機能を使用しない人も多い。
また、これとは別に留守番電話自体の、設定中は一定時間で留守番電話が自動的に応答するという機能自体があだになってしまい、逆に不便を引き起こすケースもある。