Hola, estoy interesado en montar un servidor streaming para colocar mis videos y mp3 en Internet, pero no se que programa es recomendable usar y si sería complicado montarlo o sería mejor colocar los video en un servidor web como apache y listo.

Pero queres ofrecer visualizacion ON LINE o simplemente descarga directa????

Lo unico que te podria sugerir es que revises estos hilos para que te hagas la idea.
http://www.monografias.com/trabajos10/vire/vire.shtml
http://www.rediris.es/rediris/boletin/58-59/ponencia10.html
http://bulma.net/body.phtml?nIdNoticia=2290
http://foro.hospedajeydominios.com/showthread.php?t=853

Eso si, para realizar streaming por demanda debes de contar con un buenisimo ancho de banda y que solo un servidor de pago te puede dar

Saludos