Заменить строковый ключ массива PHP

У меня есть массив в PHP, который выглядит так:

$test = array('3' => 5); 

Как я могу заменить строковый ключ 3? Я пытался:

 $test['3'] = "New value" 

но это не работает, похоже, что после этого:

 array('3' => 5, 3 => "New value") 

Версия PHP: 5.2.11