ALLONE アローン
SIMアダプターセット ALK-SIMADPK

確かにそういうことがありますね。
ICチップとのコンタクト端子がくぼみの部分に引っかかるからで、力尽くで引っこ抜くと100％端子を破壊します。^^;
そんな時は、薄いプラスチックシート（テレカや図書券カード、会員証など）をSIMホルダーに入る幅に切ってゆっくりと隙間に挿入してコンタクト端子を押し上げてやるとスムーズに抜けます。
今後、もしその様な事態に遭遇したときにはお試しあれ。