При сбросе ссылки, просто разрывается связь имени и содержимого переменной. Это не означает, что содержимое переменной будет разрушено. Например:
<?php$a = 1;$b =& $a;unset($a); ?>
Этот код не сбросит $b, а только $a.
Опять же, можно провести аналогию с вызовом unlink (в Unix).