Di SMA Suimei, asrama Sakura-sou terkenal karena menampung para berandal paling terkenal di sekolah. Oleh karena itu, ketika Sorata Kanda yang relatif kalem dipindahkan ke asrama tersebut, melarikan diri dari rumah sakit jiwa ini menjadi tujuan utamanya. Terperangkap di sana untuk sementara waktu, ia harus belajar bagaimana berurusan dengan sesama penghuni, termasuk animator yang ceria Misaki Kamiigusa, penulis playboy yang menawan Jin Mitaka, dan Ryuunosuke Akasaka yang selalu menyendiri. Dikelilingi oleh keanehan, Sorata sering menemukan ketenangan dalam interaksinya dengan satu-satunya teman “normal”nya, calon pengisi suara Nanami Aoyama.
Ketika Mashiro Shiina—seorang siswa pertukaran pelajar asing baru—bergabung dengan asrama, Sorata langsung terpikat oleh kecantikannya. Di balik penampilannya yang seperti dari dunia lain, Mashiro adalah seorang savant autis, mampu mencapai kecemerlangan dunia dalam seninya, namun tidak mampu melakukan tugas-tugas sederhana sehari-hari. Setelah Sorata akhirnya bertanggung jawab merawat Mashiro, keduanya tak pelak lagi menjadi semakin dekat, dengan keinginan awal Sorata untuk melarikan diri dari asrama menjadi tujuan yang terlupakan.
Terlepas dari keanehan mereka, setiap penghuni asrama luar biasa di bidangnya masing-masing, membuat Sorata harus berjuang dengan kurangnya keahlian khusus yang dimilikinya. Dengan kecemerlangan di sekitarnya, ia pun berusaha untuk menjadi setara dengan bakat mereka. Berputar di sekitar kesulitan dan kegembiraan para tokohnya yang beragam, Sakura-sou no Pet na Kanojo adalah kisah mengharukan tentang persahabatan, cinta, ambisi, dan patah hati—melalui sudut pandang orang biasa yang dikelilingi oleh orang-orang luar biasa.
