Come dissi già in qualche thread fa, molto probabilmente in questo caso (come è raro possa accadere in Dragonball) è più una questione di predestinazione e non di forza fisica o spirituale.
Ci sta che se nel tentativo di estrarre la spada Z ci si fosse cimentato Goku lui stesso non sarebbe riuscito ad estrarla, o al limite avrebbe estratto direttamente la montagna dal pianeta.

Ergo che dopo averlo fatto avrebbe pure provveduto a distruggere la roccia superflua per impugnare la spada, ma forse essa a questo punto non avrebbe impartito al "non degno" i potenziamenti ed i poteri dovuti