入力したスタンプを削除したい

はい、可能です。
削除したいスタンプをタップして、「×」をタップすることで削除できます。