본문 바로가기
  • AI (Artificial Intelligence)

Fundamental/Technical 45

IPFS Desktop Ref. https://github.com/ipfs-shipyard/ipfs-desktop A desktop client for IPFS. You don't need the command line to run an IPFS node. Just install IPFS Desktop and have all the power of IPFS in your hands. Powered by Web UI. Download the latest release Mac - IPFS-Desktop-0.11.4.dmg or brew cask install ipfs Windows - IPFS-Desktop-Setup-0.11.4.exe or choco install ipfs-desktop Linux - see the instal.. 2020. 8. 6.
IPFS 설치하기 및 관련 정보 링크 Ref. https://steemit.com/kr/@wonsama/kr-dev-ipfs 1. Why IPFS ? 왜 IPFS를 써야 되는가 ? Blockchain + DIDs (Distribution Identifications) 인증 + IPFS 파일공유 를 통한 콜라보레이션(협업) !! 스팀잇 글쓰기 블록사이즈 (65k) 등의 한계를 넘을 수 있음. ( 예시 > d.Tube 등 ) URL로 손쉽게 파일 공유가 가능 [그림] IPFS로 올려 본 IPFS 로고 주소 : https://ipfs.io/ipfs/QmTDfwTbTkq8k36wPcpAaJWKgUkdmfUFWotWEmKJscHFxE [그림] IPFS로 올려 본 IPFS 로고 주소 : https://ipfs.io/ipfs/QmZ5GPnQMiAdfKc.. 2020. 8. 6.
Introduction to IPFS: Run Nodes on Your Network, with HTTP Gateways Ref. https://medium.com/@rossbulat/introduction-to-ipfs-set-up-nodes-on-your-network-with-http-gateways-10e21ea689a4 How to install IPFS nodes across your VPS network and configure your own Gateways You’ve heard of the IPFS distributed file system and want to start adopting the technology in your stack — after all, a distributed, decentralised future is one that we will inevitably come to see. T.. 2020. 8. 6.
Managing Amazon SNS Subscription Attributes with AWS CloudFormation Ref. https://aws.amazon.com/ko/blogs/compute/managing-amazon-sns-subscription-attributes-with-aws-cloudformation/?nc1=h_ls This post is courtesy of Otavio Ferreira, Manager, Amazon SNS, AWS Messaging. Amazon SNS is a fully managed pub/sub messaging and event-driven computing service that can decouple distributed systems and microservices. By default, when your publisher system posts a message to.. 2020. 8. 6.
영속성(Persistence)이란? 업무를 하다보면 동료가 영속성이란 말을 하는걸 들을 수 있습니다. 혹은 IT서적을 보다보면 영속성(Persistence)라는 단어가 종종 나오는것을 볼 수 있는데요. 과연 영속성(Persistence)이라는 것이 무엇인지 알아보겠습니다. 알고보면 별거 아닙니다. 아주 쉽습니다. 일단 아래 사전적 의미부터 보겠습니다. 영속 persistence : 고집 : (없어지지 않고 오랜동안) 지속됨 음… 뭔가 감이 오는것도 같은데 말이죠. 그럼 위키피디아에서는 뭐라고 하는지도 살펴 보겠습니다. 영속성(persistence)은 데이터를 생성한 프로그램의 실행이 종료되더라도 사라지지 않는 데이터의 특성을 의미한다. 영속성은 파일 시스템, 관계형 테이터베이스 혹은 객체 데이터베이스 등을 활용하여 구현한다. 영속성을 갖지.. 2019. 8. 23.
Apache Kafka(카프카)의 특징 및 모델 Apache Kafka Concept 지난번에는 Apache Kafka(이하 : 카프카)의 등장배경에 대해서 알아보았다. 이번 포스팅에는 카프카가 기존 메시징 시스템과 다른점은 무엇이고 또 어떠한 특징이 있는지 알아보겠습니다. 먼저 특징을 알아보고 그 다음에 모델을 살펴 보겠습니다. 특징 결론부터 말하면 특징은 아래와 같고 일단 특징을 나열한 후 각각의 특징에 대해서 알아보겠습니다. 분산 시스템으로 단일 시스템보다 높은 성능을 얻을 수 있다. 시스템 확장이 용이하다. OS에서 처리하는 페이지 캐시를 이용함으로써 속도가 빠르다. TCP 기반의 Protocol을 사용하여 오버헤드를 감소 시켰다. 배치 전송 처리를 한다. 메시지를 메모리에 저장하지 않고 파일 시스템에 저장한다. 메시지를 메모리에 저장하지 않고.. 2019. 8. 23.
Pub/Sub model Ref. https://medium.com/zaneiru-tech-life-blog/pub-sub-모델에-대해서-daa3c5c52aa8 메시징 시스템을 구현하기 위해 공부를 하다보면 Pub/Sub 모델이란 단어가 나옵니다. 물론 이 글을 읽는 사용자들은 스마트해서 단번에 이해했으리라고 생각합니다만 저는 그리 똑똑하지 않기에 Pub/Sub 모델에 대해서 정리해보려고 합니다. 언제나 그렇듯 초보자의 관점에서 글을 작성하니 이미 Pub/Sub 모델에 대해서 잘 알고 있는 유저라면 과감하게 뒤로가기 버튼을 눌러주기를 바랍니다. 사전적 기본 개념 메시징과 관련된 IT서적을 보면 보통 아래와 같은 설명으로 Pub/Sub 모델을 설명하고 있습니다. 메시지를 보내고 (Publish : 발행) 받는 (Subscribe .. 2019. 8. 23.
IaaS, PaaS, SaaS란 무엇인가? 클라우드 컴퓨팅이 도입되면서 IT업계에서는 최근에 자주 들을 수 있는 용어이다. 각각 IaaS(Infrastructure as a service), PaaS(Platform as a service), SaaS(Software as a service)의 준말이다. IT 인프라의 구성요소로 보았을때 각각 차이는 사용자가 관리해야 할 범위와 제공자가 제공해주는 서비스의 범위에 따라 구분을 지어 위의 이미지처럼 간략하게 보일 수 있습니다. 아마존의 AWS는 처음에는 IaaS를 서비스하였지만, 점차 사업을 확장하면서 PaaS를 넘어 SaaS까지 사용자들에게 제공하고 있다. 이와 달리 Google이나 마이크로소프트는 SaaS 기반의 클라우드 서비스로 시작하여 PaaS,IaaS로 확장하고 있다. Packaged So.. 2019. 6. 17.
Process 와 Thread 이해 1. 프로세스(Process) 프로그램은 윈도우나 리눅스,맥OS같은 운영체제(OS)에 의해서 실행된다. 운영체제들은 프로그램을 실행할때 프로세스 단위로 관리한다. 하나의 프로그램은 하나의 프로세스에 해당된다. 2. 멀티 프로세스(멀티 프로그램, 멀티 태스킹) 컴퓨터의 중앙처리장치(cpu)는 한번에 하나의 일만을 처리한다. 프로그램(프로세스)을 실행시킨다면 한번에 하나의 프로그램만을 실행시킬 수 있다는 말이다. 하지만 요즘의 운영체제들은 cpu에 시분할시스템을 이용하여 메모리에 다수의 프로그램(프로세스)을 로드시켜놓고 빠른 속도로 번갈아 가면서 실행한다. 실제 사용자에게는 다수의 프로그램이 동시에 실행되는 것처럼 느껴진다.(ex : 음악을 들으면서 게임을 즐기거나 인테넷 사용을 한다) 이것을 "멀티태스킹".. 2014. 12. 19.
IDS (intrusion detection system) IDS는 Intrusion Detection System의 약자로 네트워크나 시스템의 할동을 감시하여 시스템으로 침입하려 하거나 해를 끼치려 하는 등의 공격을 발견하고 필요한 조치를 취하는 '침입 탐지 시스템'이다. 예를 들어, 방화벽이 잠겨있는 문이라면, 침입 탐지 시스템은 그 방안에 설치되어 움직임을 알아내는 감지 장치라고 할 수 있다. IDS에 적용되는 방식에는 특정한 종류의 공격을 확인해내는 것부터, 비정상적인 트래픽을 찾아내는 방식까지 다양하다. IDS를 분류하는 데는 다음과 같은 몇 가지 방법이 있다. 오용 탐지(Misuse detection) vs. 비정상적 탐지(Anomaly detection) 오용탐지는 특정 공격이나 시스템 취약성에 대해 축적된 정보(Knowledge Base)를 이용하.. 2014. 12. 2.
[Terms] RRDtool (round robin database tool) RRD Tool 1. http://www.terms.co.kr/RRDtool.htmRRDtool은 MRTG의 그래프 기능과 로깅 기능을 강화하여 새로 구현된 도구라고 이해할 수 있으며, 가장 큰 차이는 더욱 빠르고 유연해졌다는 점이다.RRD는 네트웍 대역폭, 기계실 온도, 서버의 평균 부하 등과 같은 시간대별 데이터를 저장하고 표시하기 위한 시스템이다. RRD는 매우 간결한 방법으로 데이터를 저장하므로, 시간이 흐름에 따라 양이 그리 크게 늘어나지 않는다. RRD는 항상 일정한 데이터 밀도를 강제로 유지하기 위해 데이터를 처리함으로써, 유용한 그래프를 제공한다. 이를 위해서는 쉘이나 펄 등으로부터 만들어진 단순한 래퍼 스크립트나, 또는 네트웍 장비에 주기적으로 질문을 던지고 편리한 인터페이스를 제공하는 .. 2014. 11. 28.
VLAN (Virtual LAN) 에 대한 몇가지 개념 1. Static VLAN 2. Dynamic VLAN 3. End-to-End VLAN 4. Local VLAN [ Geographic VLAN ] Static VLAN [ 정적 VLAN ]Static VLAN은 port-based 로 동작하게 된다. 이 말은 스위치의 각 포트별로 vlan을 할당한다는 것이다. 예를들어 FastEthernet 0/1,2,3 은 Vlan 10 , FastEthernet0/4,5,6 은 Vlan 20 이런 방식으로 각각의 포트에 대해 다른 VLAN을 설정할 수 있는 것이다.위와 같이 포트별로 VLAN을 할당하게 되면 스위치에서는 VLAN에 의해 나눠진 포트별로 Broadcast Domain을 분할하게 된다. [ Inter VLAN을 이용하면 VLAN 간에 통신이 되지만 스.. 2014. 7. 31.
802.1Q (VLAN) 1. 802.1Q ㅇ VLAN 상에서 스위치 간에 VID(VLAN Identifier) 정보를 전달하는 방법 - 이더넷 프레임에 덧붙이는 태그 방식 즉 VLAN (가상 LAN)에 대한 IEEE 표준 2. 태그방식에 대한 표준화 이유 ㅇ 스위치 또는 브리지 등으로 구성된 망에서 ARP, RIP와 같은 브로드캐스트성 프레임 들은 불필요한 곳까지도 전달이 되어서 망의 대역폭을 낭비하거나 보안 문제 발생 - 이러한 문제를 해결하기 위해 특정 VLAN 그룹 간에 만 전달을 제한하게 함. ㅇ VLAN을 구별하는 VLAN ID를 전달하는 방법으로 태깅방법을 사용하는데, 스위치 제조사 마다 다른 방식(CISCO ISL, 3Com VLT 등)을 사용하는데 이를 통일 표준화함 3. IEEE 802.1Q 태그 프레임 형태 .. 2014. 7. 31.
Kohonen Network 기법(코호넨 네트워크) (데이터마이닝) 코호넨 네트워크는 데이터 군집화에 자주 이용되는 신경망 기법의 하나이다. k-means 군집화 기법과 차이점은 다음과 같다. 첫째, 군집 중심 및 입력데이터를 0과 1사이의 정규화된 값으로 사용한다. 둘째, 알고리즘을 수행하면서 새로운 군집 중심을 계산하는 바식에 약간의 차이가 있다. Algorithm Step1. 군집 수 k를 결정하고, 각 군집에 초기치 또는 군집 중심을 0~1사이의 값으로 할당한다. Step2. 0과1 사이로 정규화된 새로운 입력 데이터를 제시한다. Step3. 입력 데이터와 각 군집 중심사이의 거리를 계산한다. Step4. 거리가 최소인 군집 중심을 아래와 같이 새롭게 계산한다. (여기서 α는 0과 1사이의 학습 비율이다) Step5. 모든 데이터에 대해 Step2~Step4를 반.. 2014. 5. 12.
k-medoids 기법 : 대표 객체기반 기법 (데이터마이닝) 전에 알아본 k-means 기법은 극도로 큰 값(혹은 작은 값)이 데이터의 분포를 사실상 왜곡할 수 있기 때문에 이상치에 민감하다. 이를 위해 군집에서 객체들의 평균값을 취하는 대신에 군집에서 가장 중심에 위치한 객체인 medoid를 사용할 수 있다. k-medoids 군집화 알고리즘의 기초적인 방법은 각 군집에서 대표 객체(medoids)를 임의로 찾음으로써 n개의 객체 중에서 k개의 군집을 찾는 것이다. 남은 각각의 객체는 가장 비슷한 medoids에 군집된다. Step 1. n개의 객체 중 대표 객체(medoids)를 k개 지정한다. (n>k) Step 2. k개의 medoids를 지정 후, 나머지 객체를 유사성이 가장 높은 medoid에 배속한다. 여기서 유사성은 거리측도를 활용한다. Step 3.. 2014. 5. 12.
k-means 기법 (데이터마이닝) k-means 알고리즘은 n개의 객체들의 집합을 k개의 군집으로 분해한다. 군집 유사성은 군집에서 군집의 무게중심으로 볼 수 있는 객체들의 평균값을 측정한다. k-means 알고리즘이 진행되는 과정은 아래의 그림과 같다. Step 1. 군집 수 k를 결정하고, 각 군집에 초기치 또는 군집 중심을 1개씩 할당한다. Step 2. 모든 데이터를 가장 가까운 군집 중심에 배속시킨다. (유클리드 거리를 이용) Step 3. 각 군집에 배속된 데이터와 새로운 군집 중심사이의 거리가 최소가 되도록 새로운 군집 중심을 계산한다. Step 4. 군집 중심이 변화가 거의 없을 때까지 Step2와 Step3을 반복한다. R에 있는 iris 데이터를 활용하여 알고리즘을 직접 짜보았다. ### 군집중심으로 최소거리에 해당하는.. 2014. 5. 12.
Data Clustering * Clustering Overview. § 클러스터링 개념 ? > 밀접히 관련된 사물, 사람, 아이디어 들의 그룹을 찾는 기법. 즉 주어진 Data Set 내에서 유사항목을 가진 그룹을 검출 하는 것. > 올바른 답을 찾는 것이 아니고 데이터 집합내에서 구조를 발견하는데 목적이 있음. > 구분하려고 하는 각 class에 대한 아무런 지식이 없는 상태에서 분류(classify)하는 것이므로 자율학습 (Unsupervised Learning)에 해당한다. > sample에 대한 지식없이 similarity(유사도)에 근거하여 cluster들을 구분한다. § 클러스터링 ! > 패턴 공간에 주어진 유한 개의 패턴들이 서로 가깝게 모여서 무리를 이루고 있는 패턴 집합을 cluster(군집)라하고, 이 clust.. 2014. 5. 12.
Network 용어정리 NID : Network Interface Device 2014. 4. 22.