עם סיום לימודי הדוקטורט שב לישראל להתמחות במשרד ש. הורוביץ ושות' ולאחר סיום ההתמחות פתח משרד עצמאי שהתמחה בליטיגציה מסחרית-אזרחית על כל גווניה.

משרדו התאפיין בדרכו הייחודית של עו"ד שגב לניהול תיקי ליטיגציה מורכבים ורחבי היקף, אשר שילבה בין חשיבה משפטית יצירתית המושתתת על היכרות עמוקה עם עקרונות הדין והפסיקה וגיבוש פתרונות לא-שגרתיים וחדשניים לבין יכולת ירידה לפרטי פרטים ושליטה אבסולוטית בעובדות ובראיות. לצד זאת, עו"ד שגב שכלל את מלאכת החקירה הנגדית של עדים לכדי אומנות ונחשב לאימת הנחקרים.

עו"ד שגב נחשב לאבי "הליטיגציה מבוססת תוצאה" בקרב עורכי-הדין הבכירים בישראל – בשונה מרוב מוחלט של המשרדים המובילים בישראל, אשר מטפלים בתיקים על בסיס חיוב שעתי (Hourly Rate), עו"ד שגב האמין ששכר-טרחה מבוסס הצלחה יוצר זהות אינטרסים עם הלקוח ומוביל ליותר הצלחות משפטיות ולתוצאה הטובה ביותר ללקוח ולעורך-הדין, כאחד.

בהתאם, התיקים הגדולים ביותר במשרדו טופלו בשיטת שכר-טרחה מבוסס תוצאה (Contingency Fee), אשר לאורך השנים הניבה שורה ארוכה של תוצאות יוצאות דופן עבור לקוחות המשרד.

עו"ד שגב הוביל מספר רב של מאבקים משפטיים נגד חברות ענק ובכירים במשק הישראלי לאורך השנים, ביניהם ייצוג בעלי מניות ב"ידיעות אחרונות" בסכסוך מול בעל השליטה ארנון (נוני) מוזס; ייצוג הגיאולוג יוסי לנגוצקי, אבי תגליות הגז של ישראל, בתביעת ענק נגד איש העסקים בני שטיינמץ בגין זכויות במאגר הגז "תמר"; ייצוג חברת ההזנק הישראלית "גט" בסכסוך מול ענקית הרכב הגרמנית "פולקסווגן" בעניין השקעה בסך 300 מיליון דולר.

במקביל, עו"ד שגב מונה למפרק של חברות גדולות במשק הישראלי שקרסו ורכש התמחות מיוחדת בניהול תביעות בפירוק, בין היתר פירוק מועצת פרי הדר תוך הפעלתה בשווי מכירות של 350 מיליוני דולר וניהול תביעות בעשרות מיליוני דולר נגד; פירוק אחת המשחטות הגדולות בישראל, הוד אווז, תוך ניהול תביעות נגד תנובה ואח' בגין השתלטות על ענף המשחטות; פירוק חברת הברוקרים פ.י.ט., בבעלות משפחת חכמי, במהלכה הוביל עו"ד שגב חקירה בינלאומית וחשף גניבה של עשרות מיליוני דולרים וניהל כמפרק את התביעות להשבת הכספים; פירוק חברת טאו תשואות, בשליטת אילן בן-דב, במהלכה קיים חקירות של בכירים בבנק לאומי, לרבות היו"ר והמנכ"ל, בחשד לניהול החברה במרמה, והגיש תביע נגד בנק לאומי ואילן בן-דב, שהסתיימו בתשלום סך של כ-115 מיליון, בפשרה.

גולת הכותרת של פעולותיו כמפרק הייתה מינויו כמפרק של בנק צפון אמריקה וניהול תביעה נגד חברי דירקטוריון הבנק בגין אחריותם למלוא חובות הבנק. התביעה הסתיימה בפסק-דין תקדימי שהטיל על הדירקטורים אחריות אישית לחובות הבנק בסך 550 מיליון דולר ואושר בבית-המשפט העליון. פסק-הדין בפרשת בנק צפון אמריקה מהווה עד היום אבן יסוד בדיני התאגידים ונחשב להלכה המנחה בנושא חובת האמונים וחובת הזהירות של דירקטורים בחברות.

עו"ד שגב אימן את טובי הליטיגטורים בישראל כיום. יוצאי משרד שגב נחשבים עורכי דין נחשקים בכל ענפי המשפט ובמיוחד בתחום הליטיגציה.

לאורך השנים, עו"ד שגב הקפיד לשמור על משרד קטן ואיכותי, בוטיק אמיתי, עם דגש על שכר לפי הצלחה ובלי קשר לכמות השעות המושקעות בתיק. עו"ד שגב השקיע רבות בלימוד ואימון עורכי הדין במשרדו וכאשר אלו גדלו ופרשו כנפיים לדרך עצמאית הוא היה ממשיך ומפנה אליהם לקוחות ושומר על קשר מקצועי עם בוגרי המשרד.

עו"ד שגב היה נשוי למאירה שגב ז"ל, שותפתו לחיים ולמשרד שהקים, אשר נפטרה בשנת 2000. יוסי ומאירה היו מעורבים במיזמים חברתיים ותרומה לקהילה, בין היתר, עו"ד מאירה שגב ז"ל שימש כיושבת ראש המחלקה למעמד האישה בארגון ויצ"ו.

לצד עבודתו המשפטית רבת השנים, אהבתו הגדולה של יוסי הייתה לים – הוא היה "סקיפר" מחונן שהפליג ברוב חלקי העולם, כולל חציית האוקיינוס האטלנטי שאותה השלים בשנת 2005, יחד עם אשתו השנייה, איונה שגב.

יוסי נפטר בקיץ 2023, לאחר מאבק ממושך במחלה קשה. הוא הותיר אחריו את אשתו, איונה שגב, שלושת ילדיו, אדר' אייל שגב, עו"ד בועז שגב וד"ר דנה שגב ושלושה נכדים.

עו"ד שגב ז"ל טבע את המוטו – "הכוח ללכת את כל אורך הדרך" – אשר ממשיך ללוות את משרדו גם לאחר לכתו, בטרם עת.