Pianon varhaisimpana esiasteena pidetään yleisesti dulcimeriä, kielisoittimia, joissa on puolisuunnikkaan muotoinen soundboard ja vasarat, joita pelaajan kädet lyövät kielet.
1600-luvun lopulla italialainen instrumenttivalmistaja Bartolomeo Cristofori jalosti dulcimeriä lisäämällä mekanismin, joka käytti vipuja, vasaroita ja vaimentimia kielten lyömiseen. Tämä mekanismi mahdollisti suuremman hallinnan ja ilmaisukyvyn soittamisessa, mikä mahdollistaa nuottien tuottamisen vaihtelevalla dynamiikalla ja sointiäänellä. Cristofori kutsui keksintöään "gravicembalo col piano e forte", joka tarkoittaa "cembaloa pehmeällä ja äänekkäällä".
1700-luvun aikana muut instrumenttien valmistajat alkoivat kokeilla Cristoforin suunnittelua ja esittelivät lisäparannuksia ja muutoksia. Vuonna 1711 Cristofori teki toisen merkittävän parannuksen lisäämällä "escapement"-nimisen mekanismin, jonka avulla vasarat palasivat nopeasti alkuperäiseen asentoonsa kielten osumisen jälkeen, jolloin pelaaja pystyi toistamaan nuotteja nopeasti.
Termiä "pianoforte", "piano" (pehmeä) ja "forte" (ääninen) yhdistelmä, alettiin käyttää laajemmin 1700-luvulla kuvaamaan näitä uusia soittimia. Se lyhennettiin lopulta sanaksi "piano".
Gottfried Silbermann, saksalainen instrumenttivalmistaja, antoi useita tärkeitä panoksia pianon kehitykseen 1700-luvulla. Hän hioi toimintamekanismia, paransi soundboardia ja jousitusta sekä otti käyttöön puurungon käytön puukotelon sijaan, mikä johti vankempaan ja vakaampaan soittimeen.
1800-luvun alussa englantilainen pianonvalmistaja John Broadwood teki lisää parannuksia pianoon ottamalla käyttöön uudentyyppisen toimintamekanismin, joka oli herkempi ja kestävämpi. Hän kokeili myös erilaisia materiaaleja jousiin, äänitauluihin ja kehyksiin parantaakseen soittimen ääntä ja pitkäikäisyyttä.
Samoihin aikoihin ranskalainen pianonvalmistaja Sébastien Érard kehitti kaksoispakotoiminnon, joka mahdollisti nuottien entistä nopeamman toiston. Hän esitteli myös metallirunkojen käytön, mikä lisäsi rakenteellista vahvuutta ja mahdollisti suuremman kielen jännityksen, mikä johti kovempaan ja voimakkaampaan soundiin.
1800- ja 1900-luvuilla pianoon tehtiin lukuisia muitakin innovaatioita ja parannuksia, kuten pedaalien yhdistäminen äänen ylläpitämiseen ja vaimentamiseen, oktaavien lisääminen ja erilaisten toimintamekanismien kehittäminen.
Siksi ensimmäinen piano ei ollut yksittäinen keksintö, vaan pikemminkin aikaisempien kielisoittimien asteittainen kehitys ja jalostaminen useiden instrumenttien valmistajien panoksilla useiden vuosikymmenten aikana.