как прикрутить сэм вместо шуткаста?

[RadioSoft]

Галочка на использование Shoutcast позволяет запустить ShoutCast плагин. НО это не обязательно делать в самой программе, т.к. звук плагин берет именно со звуковой карты, а не программа передает звук, плюс ко всему сам ShoutCast, запущеный из-под Winamp, имеет больше кодировщиков, это уже внутренние особенности самого ShoutCast.
Так что есть сэм умеет транслировать захваченный звук, то никаких дополнений к RADIO Player Pro не потребуется.

[RadioSoft]

Да, верно, простой Winamp без файлов.
Вообще я не пробовал работать с сэм, и не в курсе пока что это такое и дать рекомендаций не могу.
Что касается Shoutcast, то плагин запускается в соответсвии со спецификацией запуска winamp dsp библиотек по имени файла библиотеки.
Если сэм это Winamp DSP - попробуйте переименовать, может получится.