TEAM STUDY/가상 면접 사례로 배우는 대규모 시스템 설계 기초 (8) 썸네일형 리스트형 [스터디 기록 📋] #유튜브설계 #비디오업로드절차 #비디오트렌스코딩 #유향비순환그래프 #DAG 정민 기대했었던 것만큼 흥미로운 내용이 많이 안 나와서 유튜브 여기 관련해서 타이틀만 보고 되게 더 의미 있을 거라 생각을 했는데 네 많이 없어서 조금 아쉬웠고 네 그 외에는 네 없습니다 준언 저도 너무 이게 동영상에 대해서 어려워가지고 이해하기가 좀 힘들었었는데 그리고 트림이 실시간 스트림으로 볼 때 이런 식으로 하는구나 알기를 잡고 있어요. 주완 저는 되게 흥미로웠던 게 사실 여기 나오는 이런 데 데그 그러니까 이제 유향 피슈나 그래 다 이런 거 처음. 들어보요 데그라 그래요 보통 이거를 사실 이거를 관리하는 게 굉장히 중요한 내용인 것 같아요. 사실 요즘에는 이런 배그 스케줄러를 기반으로 해서 데이터 처리들을 되게 많이 하는 걸로 알고 있거든요. 예 들 예를 들어서 에어 플로우라든가 아니면은 스파크.. [스터디 기록 📋] #채팅시스템설계 #폴링 #롤폴링 #웹소켓 #규모확장성 혜지 저는 채팅 시스템 설계 아는 웹소켓 방식이 제가 다 따로 채팅 시스템은 아닌데 파일을 전송하는 거를 웹 소켓 방식으로 하는 게 있다고 해서 공부를 했을 때 당시에는 이거를 왜 웹 소켓으로 하지라는 생각을 했었거든요. 근데 그게 파일 전송에 적합하지 않다는 거를 이 채팅 시스템에 좀 더 적합한 통신 방법이구나 라고 좀 이 문장에서 좀 읽으신 그걸 느꼈고요 파일 전송에도 쓰는 방식이 있는 걸로 알고 있는데 그거는 왜 웹 소켓을 쓰는지 그런 것도 조금 더 내가 왜 그때 웹 소켓으로 그거를 만들어 보려고 했는지 좀 의문이 들더라고요 그래서 그 부분을 조금 왜 그렇게 했는지에 대해서 좀 생각해보는 계기가 됐고 또 뉴스 피드는 여기에 있는 것들이 다 어쨌든 대량의 어떤 트위터나 페이스북 카카오톡 이런 메신저들.. [스터디 기록 📋] #DFS #BFS #미수집URL저장소 #분산크롤링 #알림시스템설계 #메세지큐 #알림데이터손실방지 #알림고려사항 #큐모니터링 수빈 😁 저는 오늘 이거 할 때 알림 설정 같은 거 큐 요즘에 뭐 큐트 메시지 큐에 관심이 좀 많은데 그런 거에 대해서 좀 한 번 더 짚고 넘어갈 수 있어서 좋았던 것 같고 크롤러 같은 경우에 뭔가 그냥 크롤러가 이런 거다라고 알고 있었는데 이렇게 다양한 것들을 고려해야 된다는 것도 다시 한번 생각해봤던 것 같아요. 끝입니다. 혜지 😗 또 알림 시스템 보고서 저희가 사용하고 있는 이메일이랑 텔레그램 알람이 좀 어디가 부족한지에 대해서 생각해 볼 수 있었고요 특히나 제시도 하는 것도 저희는 알람을 보내고 나서 그 알람이 제대로 갔는지 확인하는 게 좀 안 되어 있다고 생각돼서 그것도 조금 생각이 났고요 크롤링 하는 거는 저희는 크롤링을 직접 하는 거는 안 하다 보니까 크롤링에 대해서 이렇게 전반적으로 알 수.. [스터디 기록 📋] #URL단축 #URL변환 #웹크롤러설계 #웹마이닝 #웹모니터링 #중복콘텐츠 #컨텐츠저장소 #URL필터 # 주완 😁 단축 url 같은 경우는 좀 그래도 써본 적이 있어서 이게 어떻게 구성이 되는가를 한번 생각해 보는 좀 좋은 시간이었고요 아무래도 시스템 설계 그리고 이런 그림 9-4 같은 이런 시스템 설계도 같은 거를 그리기가 되게 어려운데 이런 식으로 참조해서 그리면 될 것 같아서 좀 좋았어요. 이런 게 좀 자주 나오니까 수빈 😋 저는 지금 하고 있는 업무가 딱 마침 url 문제였는데 이거 보면서 되게 많은 생각을 한 것 같아요. 근데 뭔가 좀 딱 이거 이런 생각했어요라고 말하기 어려울 정도로 많은 생각을 해서 느낀 점은 여기까지요. 혜지 😎 그냥 와닿는 게 없는거 아니에요 ? 수빈 😋 아니에요 너무 많아가지구요 혜지 😎 저는 그래서 여기에 관련된 내용이 조금 와닿지는 않았는데 그냥 책 부분에서 144 페이.. [스터디 기록 📋] #분산시스템을위한유일ID생성기설계 #티켓서버 #트위터스노플레이크접근법 #타임스탬프 #UUID #데이터다중화 #데이터일관성 #일관성모델 #데이터버저닝 #장애처리 #장애감지 .. 준언 🙄 처음에 이거 봤을 때 앞쪽 배터시계 이런 부분에서 뭔 말인지 이해가 안 돼서 다시 정독했었는데 지금도 이해는 잘 안 되지만 한번 인터넷으로 찾으면서 또 다시 공부해야 될 것 같고 이 아이디 값 만드는 것도 여러 개 있는 거 보니까는 좋았어요. 주완 😃 근데 저는 좀 최근에 조금 제가 아무래도 겪고 분산 시스템을 많이 겪고 있어서 되게 재미있었고요 제일 재미있었던 게 코랑 컨센서스 같은 경우에는 일단 주키퍼나 주키퍼에서 되게 일단은 많이 강조했던 부분이어서 되게 이렇게 개념적으로 접근한 적이 없는데 개념적으로 접근해 보니까 되게 재미있었어요. 네 그래서 상당히 이런 분산 시스템에 대한 아키텍처가 진짜 기본부터 들어가기 시작하면 너무 어려운 것 같아요. 저도 조금 다시 한번 읽어봐야 될 것 같아요... [스터디 기록 📋] #안정 해시 #해시서버 #해시키 #서버조회 #서버추가 #서버제거 #가상노드 준언 😃 오늘 공부했었던 부분 중에 가장 흥미로웠던 부분은 93페이지 쪽 clp 제품 쪽인데요. 분산 시스템 분산 해시 테이블 설계할 때 이렇게 구분해가지고 설계해야 된다는 부분이 흥미로웠고 그리고 네 적용해보고 싶다 라는 생각이 들었습니다 정민 🙄 저도 cep 그거에 대해서 알아서 너무 좋았고 그리고 가상 모드 이런 거 만들어서 캐시 이런 거 캐시 key 이렇게 하는 것도 알게 돼서 좋았습니다. 혜지 🥰 저도 그 안전 해시 설계는 언젠가는 한번 제가 적지 않을까 데이터를 계속 다루다 보면 그래서 안전 해시 설계는 한번 계속 좀 머릿속에 계속 기억해내야 될 것 같고요. 그 외에도 여기 cep 정리 같은 경우에도 확실히 데이터 모든 시스템 설계할 때 이런 비슷한 내용들은 좀 많이 나오는 것 같아서 되게 좀.. [스터디 기록 📋] #처리율제한장치설계 #처리율제한알고리즘 #성능최적화 효정 😋 저는 오늘 내용이 약간 그림으로 보여주는 게 되게 흥미로우면서도 재미있기도 했고 어디였지 68페이지에 http 응답 해더에서 이런 걸 확인할 수 있다는 이런 개념들도 처음봐가지고 다시 한 번 이 파트는 정리해 보면서 봐야겠다는 생각이 들었어요. 정민 😁 일단 차류 제한 장치 자체 알고리즘도 그렇고 저희가 지금 회사에서 쓰고 있는 시스템은 사용자가 그렇게 많이 접속하지가 않기 때문에 그 부분에 대해서 고민할 필요가 없었었는데요. 그래서 그런지 약간 흥미로 약간 궁금증이 생겼어요. 준언 😎 저희가 쓰는 시스템에서 10명이 들어오면은 꺾거든요. 모든 시스템이 그렇게 너무 열악한 상황 아무것도 안 하거든요. 그러니까 대규모 데이터가 정한 시스템에 10명이 들어와도 되는데 데이터가 많은 그런 내가 10명.. [스터디 기록 📋] #샤딩 #면접자세 #면접의도파악 #자동화 #로그,매트릭 그리고 자동화#데이터베이스 규모 확장 #수평적확장 #수직적확장#백만 사용자 그리고 그 이상#모든 프로그래머가 알아.. 2022 02 09 - 오늘의 스터디 🙋♀️ #샤딩 #면접자세 #면접의도파악 #자동화 #로그,매트릭 그리고 자동화 #데이터베이스 규모 확장 #수평적확장 #수직적확장 #백만 사용자 그리고 그 이상 #모든 프로그래머가 알아야 하는 응답지연 값 #가용성에 관계된 수치들 #트위터 QPS 와 저장소 요구량 추정 혜지 🙂 저는 느낌 점은 이렇게 가까이 사실 면접 부분보다는 저는 앞에 있는 부분이 조금 저한테는 많이 와 닿았거든요. 저는 이제 실제로 검색 엔진에 샤드라는 개념이 있어서 근데 여기에도 샤드 부분에 중간에도 있지만 샤드로 한다고 해서 모든 게 다 완벽하지 않아서 실제로도 검색 엔진 엘라스틱에 자동 샤딩을 해 주는데도 그 자동 샤딩이 제대로 안 돼서 임의로 샤딩을 옮기는 경우가 있어요. 여기 쓰여있는 것.. 이전 1 다음
