Gilles se začal potýkat s jedovatostí a paranoiou, která se v týmu Ferrari rozrůstala vzhledem k obtížnosti situace. Podle Villeneuveova manažera Gastona Parenta si Gilles myslel, že Forghieri a Piccinini (Piccinini byl manažerem týmu Ferrari) se báli vinit z neúspěchu vůz. Po závodě vždy volali „Staříkovi“ a říkali mu, že to byla chyba jezdce nebo pneumatik. Nikdy nebyla chyba na straně Ferrari.
A začalo to být ještě horší. Scheckter to celé zabalil a odešel, aby se nakonec stal ekologickým zemědělcem. Na jeho místo se dostal Didier Pironi, noblesní a nadutý Francouz. „Když je jeden veleben a druhý zapomenut“, filosofoval Pironi o životě pilota v týmu Formule 1 , „cítí se ten druhý zraněný a rozzlobený.“ Pironi byl typ člověka, který je schopný s náležitým klidem přijmout světový názor na měnící se dynamiku motoristického sportu. Teď, když se na scéně objevil Pironi – o dva roky mladší než Villeneuve – byla Villeneuveova autorita vystavena nebezpečí. Jeho pozice jedničky se otřásala v základech.
Přišel rok 1981 a jejich vůz byl stále příšerný. Nové Ferrari 126CK mělo na jedné straně vychytralý šestiválec s turbem a na straně druhé jízdní vlastnosti, Villeneuveovými slovy, rychlého červeného Cadillacu. Turbo šestiválcového motoru mělo chronické prodlevy a špatně promyšleným šasi se v každé zatáčce otřásalo a přenášelo každý náraz a nedokonalosti povrchu tratě přímo na jezdce. Auto se tak nesnesitelně klepalo, že pro něj bylo obtížné vůbec vidět na cestu a pokaždé, co Villeneuve vůz řídil, odcházel s bolestí hlavy. Nepřízni osudu se pokusil vzdorovat několika nadlidskými výkony. V Monaku zvítězil s náskokem čtyřiceti sekund. Na španělské Grand Prix v Jamaře v červnu roku 1981 pak zajel závod, který se zapsal k Mossově památné jízdě v Monaku nebo Fangia a Stewarta na Nüburgringu.
