薩摩藩(現在の鹿児島県)の武士の家に生まれた片岡は、1871年に海軍兵学校3期生として入学し、コルベット艦「つくば」で士官候補生として勤務した。
片岡は、伏見博康親王に同行して交換留学生としてドイツに留学した。18ヶ月間の留学期間中にドイツ語、フランス語、英語を流暢に話せるようになり、首席で卒業した。その後、1877年から1878年にかけて、後の山本五十六提督のもと、ドイツ艦ヴィネタ号とライプツィヒ号で訓練を受けた。
片岡は1881年から1886年まで中尉として様々な艦隊勤務を歴任し、1882年6月20日にはコルベット艦「天龍」の艦長に就任した。また、海軍兵学校で2年間教官を務めた後、1889年にドイツに戻り、さらに研鑽を積んだ。その後、ベルリンに駐在武官 として赴任し、東伏見頼仁親王と山科菊麿親王のヨーロッパ旅行を補佐する任務を主に担った。1894年、日清戦争勃発に伴い日本に召還された。
開戦初期に大日本帝国海軍参謀本部に任命された片岡は、間もなくコルベット艦「金剛」の艦長に任命され、その後、 1894年末から1895年初頭にかけての澎湖遠征と台湾征服の際には巡洋艦「浪速」の艦長を務めた。
戦後、片岡は艦隊や陸上の様々な役職を歴任し、 1899年に少将、1903年には中将に昇進した。彼は朝鮮総督および台湾総督の職を辞退し、海軍出身の自分には領土問題を扱う能力がないと述べた。実際、彼は政治には全く興味がなかった。
日露戦争開戦当初、片岡は「おかしな艦隊」と揶揄された旧式艦艇の寄せ集めである第三艦隊の指揮官に任命された。時代遅れの艦艇が混在する艦隊であったにもかかわらず、片岡は黄海海戦では巡洋艦日進に乗艦して第五および第六戦隊を指揮し、対馬海戦では巡洋艦厳島に乗艦して指揮を執り、功績を挙げた。また、ポーツマス条約締結前には、樺太奪取のための海軍遠征を率いた。
終戦から1年後、片岡は海軍省船舶局長に就任した。
1907年、片岡は華族制度に基づき男爵の称号を授与され、 1910年には大将に昇進して第一艦隊司令長官に就任したが、翌年には予備役となった。
{{cite web}}: CS1メンテナンス: アーカイブサービスは非推奨になりました (リンク)